CN111325828B - 一种基于三目相机的三维人脸采集方法及装置 - Google Patents

Abstract

本发明公开了一种基于三目相机的三维人脸采集方法及装置，将人脸关键点投影到左右IR散斑纹理人脸图像中，计算左右IR散斑纹理人脸图像中对应人脸关键点的坐标，通过迭代人脸关键点在左右IR散斑纹理人脸图像上的投影位置，修正误差，最后遍历整个RGB人脸图像，即得到精确的人脸深度图，利用内参矩阵反投影得到最终的人脸点云。本发明利用法向信息使双目立体匹配算法进行高精度匹配，消除人脸曲面仿射变换影响，提升深度精度；通过降分辨率的人脸深度图，约束原始分辨率的立体匹配视差在极线方向上的搜索范围，大幅度降低计算复杂度，提升了算法计算效率。

Description

一种基于三目相机的三维人脸采集方法及装置

技术领域

本发明属于计算机视觉技术领域，特别涉及一种基于三目相机的三维人脸采集方法及装置。

背景技术

近年来，随着人工智能技术的迅猛发展以及计算机计算能力的不断提升，人脸识别技术作为一种典型的人工智能技术正越来越多地被应用于如电子支付、身份识别、刑事侦查、安防控制等领域，并在这些领域中展现出极大的优越性。然而，不可否认的是当前人脸识别算法大多是基于平面图像的二维人脸识别，二维人脸图像只是三维人脸模型特定角度下投影到像平面的二维投影，因此人脸面部几何和纹理信息特征不可避免的会有损失，这也导致人脸识别准确度受到限制。

随着三维重建技术的快速发展，人脸识别算法正在由图像作为输入的二维人脸识别技术向将三维人脸模型作为输入的三维人脸识别技术过渡。与二维人脸图像相比，三维人脸模型具有更多特定人的脸部几何和纹理信息，这便大大提高了人脸的特征信息量，通过人脸识别算法所能提取的人脸特征也能更好地区分被不同对象之间的区别。因此，三维人脸模型更适合于人脸识别技术的输入。

目前三维人脸识别算法常用的是深度学习类算法，该类型算法一般需要大数据量的高精度人脸三维模型作为训练数据进行监督学习，因此一款简单高效的三维人脸模型采集方法和采集装置已经成为了一种非常重要且紧迫的需求。研究具有全自动、操作简单、被采集人员安全无感、对采集环境光照无约束、无需采集人长时间静止配合的3D人脸数据采集装备，具有重要的意义。

当前，在人脸三维重建领域中，基于双目立体匹配的人脸深度提取算法是一个重要且被广泛使用的算法。然而，人脸表面是曲面，且法向变化范围大，所以在近距离拍摄人脸图像时，左右相机拍摄的人脸图像会有较明显的仿射变换。特别在散斑器投射的散斑颗粒较大，且密度较低，人脸与相机光轴夹角较大的情况下，人脸表面上的同一颗散斑点在左右相机拍摄的人脸图像中，散斑颗粒形状存在明显的仿射变换差异，这些差异都会导致双目立体匹配算法得到的深度图存在较大精度误差，进而影响人脸点云和人脸三维重建的精度。同时，由于立体匹配算法需要在极线方向上做逐像素的匹配搜索，当人脸较近时，视差搜索范围较大，双目立体匹配算法具有较高的计算复杂度，进而导致计算耗时较长。

发明内容

本申请的目的是提供一种基于三目相机的三维人脸采集方法及装置，用以避免抗仿射变换，并提高计算效率和计算精度。

为了实现上述目的，本申请技术方案如下：

一种基于三目相机的三维人脸采集方法，所述三目相机包括中间的RGB相机和左右的IR相机、以及两组IR散斑投射器，所述基于三目相机的三维人脸采集方法，包括：

获取三目相机采集的RGB人脸图像和左右IR散斑纹理人脸图像；

利用RGB人脸图像进行人脸框和人脸关键点检测，得到精确的人脸关键点；

将人脸关键点投影到左右IR散斑纹理人脸图像中，计算左右IR散斑纹理人脸图像中对应人脸关键点的坐标；

通过迭代人脸关键点在左右IR散斑纹理人脸图像上的投影位置，修正误差；

计算基于左右IR散斑纹理人脸图像中的人脸关键点坐标信息最小外接矩形框的并集的行数和列数，作为左右人脸框的行数和列数；

计算RGB人脸图像原始分辨率的法向图；

计算左IR散斑纹理人脸图像中的像素块像素坐标投影到右IR散斑纹理人脸图像中得到对应的灰度值；

遍历整个RGB人脸图像，即得到精确的人脸深度图，利用内参矩阵反投影得到最终的人脸点云。

进一步的，所述通过迭代人脸关键点在左右IR散斑纹理人脸图像上的投影位置，修正误差，包括：

对RGB人脸图像和左右IR散斑纹理人脸图像进行降分辨率处理。

本申请还提出了一种基于三目相机的三维人脸采集装置，所述三目相机包括中间的RGB相机和左右的IR相机、以及两组IR散斑投射器，所述基于三目相机的三维人脸采集装置，包括：

采集模块，用于获取三目相机采集的RGB人脸图像和左右IR散斑纹理人脸图像；

检测模块，用于利用RGB人脸图像进行人脸框和人脸关键点检测，得到精确的人脸关键点；

投影模块，用于将人脸关键点投影到左右IR散斑纹理人脸图像中，计算左右IR散斑纹理人脸图像中对应人脸关键点的坐标；

迭代模块，用于通过迭代人脸关键点在左右IR散斑纹理人脸图像上的投影位置，修正误差；

人脸框计算模块，用于计算基于左右IR散斑纹理人脸图像中的人脸关键点坐标信息最小外接矩形框的并集的行数和列数，作为左右人脸框的行数和列数；

法向图计算模块，用于计算RGB人脸图像原始分辨率的法向图；

左右投影模块，用于计算左IR散斑纹理人脸图像中的像素块像素坐标投影到右IR散斑纹理人脸图像中得到对应的灰度值；

输出模块，用于遍历整个RGB人脸图像，即得到精确的人脸深度图，利用内参矩阵反投影得到最终的人脸点云。

进一步的，所述迭代模块在通过迭代人脸关键点在左右IR散斑纹理人脸图像上的投影位置，修正误差时，还执行如下操作：

对RGB人脸图像和左右IR散斑纹理人脸图像进行降分辨率处理。

本申请无需提前约束采集距离，而是通过逐帧低分辨率深度提取来判断被采集人脸深度距离和朝向角度，与人脸自动抓拍系统协同，确定最优帧数据进行人脸图像存储并进行3D人脸重建。具有以下创新效果：

利用法向信息使双目立体匹配算法进行高精度匹配，消除人脸曲面仿射变换影响，提升深度精度；

通过降分辨率的人脸深度图，约束原始分辨率的立体匹配视差在极线方向上的搜索范围，大幅度降低计算复杂度，提升了算法计算效率。

附图说明

图1为本申请一种基于三目相机的三维人脸采集方法流程图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，一种基于三目相机的三维人脸采集方法，包括：

步骤S1、获取三目相机采集的RGB人脸图像和左右IR散斑纹理人脸图像。

本实施例三目相机包括中间的RGB相机和左右的IR相机、以及两组IR散斑投射器，IR散斑投射器位于RGB相机与IR相机之间，开启IR散斑投射器向场景中投射散斑纹理，左中右三目相机同步采集得到1幅RGB图像和两幅IR散斑纹理图像。

本实施例还对三目相机采集的左中右图像(I′_l,I′_m,I′_r)做校正得到校正后的图像(I_l,I_m,I_r)。

其中，图像校正所需要的相机内外参数(K_l,K_r,R_lr,t_lr,B)和(K_l,K_m,R_ml,t_ml)，相机内外参数已经事先通过离线的三目相机内外参标定算法得到，左右IR相机双目极线对齐。其中K_l是左IR相机的内参，K_m是中RGB相机的内参，K_r是右IR相机的内参，R_lr,t_lr分别是左IR相机到右IR相机之间的外参旋转矩阵和平移矩阵参数，R_ml,t_ml分别是中RGB相机到左IR相机之间的外参旋转矩阵和平移矩阵参数，B是左右IR相机的基线矩参数。

步骤S2、利用RGB人脸图像进行人脸框和人脸关键点检测，得到精确的人脸关键点。

本实施例利用中间RGB相机的校正图像I_m进行人脸框和人脸关键点检测，得到精确的人脸关键点。关于人脸框和人脸关键点检测，已经是比较成熟的技术，这里不再赘述。

步骤S3、将人脸关键点投影到左右IR散斑纹理人脸图像中，计算左右IR散斑纹理人脸图像中对应人脸关键点的坐标。

本实施例利用中间RGB相机的校正图像I_m进行人脸框和人脸关键点检测，得到精确的人脸关键点，并计算左相机的左IR图像上的人脸关键点和右IR图像中人脸关键点的坐标点/>其中，W为人脸关键点的总数。

在已知中、左相机的标定参数和对应人脸的深度值Z_m,Z_l的情况下，将中相机的人脸关键点的齐次形式投影至左IR图像中，得到左相机的人脸关键点的齐次形式/>并有：

这里由于三目相机固定放置，人脸基本与三目相机距离相等，所以不妨假设Z_l＝Z_m.那么：

取整可以得到左IR图像上的人脸关键点

类似地，可以得到右IR图像中人脸关键点的坐标点：

步骤S4、通过迭代人脸关键点在左右IR散斑纹理人脸图像上的投影位置，修正误差。

步骤S3中人脸深度Z_m,Z_l是预先估计的，可能会存在较大误差。因此需要迭代人脸关键点投影位置来修正误差。本实施例对RGB人脸图像和左右IR散斑纹理人脸图像进行降分辨率处理，通过降分辨率处理后的图像进行计算，可以大大降低计算量，提高计算速度。

首先，通过在降分辨率的左右校正后的IR散斑纹理人脸图像中进行双目深度计算，这里降分辨率后的图像像素的行数和列数的具体量级约在[100-200]之间即可。

基于投影的人脸关键点位置信息抠出一个较大的人脸框，统计该人脸框内深度的直方图分布确定人脸深度值，然后基于该深度值重新估计出左右IR图像中投影的人脸关键点的位置信息，交替迭代计算，随着迭代次数的增加，深度值和关键点位置越来越精确，所以人脸的尺寸越来越小并越来越接近人脸关键点的外接矩形，最终当人脸深度和关键点变化量小于阈值，或者达到最大迭代次数后，终止迭代计算。

步骤S5、计算基于左右IR散斑纹理人脸图像中的人脸关键点坐标信息最小外接矩形框的并集的行数和列数，作为左右人脸框的行数和列数。

基于左右IR图像中的人脸关键点坐标信息和/>计算出两者最小外接矩形框的并集的行数和列数，作为左右人脸框的行数和列数。

同时为了防止左IR图中的人脸框的相素在右图对应像素位置的右侧，双目立体匹配算法向左搜索无法搜索到正确视差，所以对左右IR图像中的人脸框的大小略作调整：左图人脸框向左扩充部分列数像素，右图向右扩充相同列数像素，最终输出左右IR图像的人脸检测框。

步骤S6、计算RGB人脸图像原始分辨率的法向图。

基于人脸检测框，首先在降分辨率的左右人脸框图像上进行双目立体匹配，得到降分辨率的人脸深度图像，通过相机内参投影得到对应人脸点云，进而在局部邻域内插值计算出中心像素的法向信息。低分辨率深度图的每个像素都有对应的法向信息，最终上采样插值出原始分辨率的法向图。

步骤S7、计算左IR散斑纹理人脸图像中的像素块像素坐标投影到右IR散斑纹理人脸图像中得到对应的灰度值。

基于立体匹配算法中匹配像素块在三维空间中近似是小块平面这一假设，利用左右双目相机标定结果和平面单应性原理。平面上的点P在左右相机的图像中像素坐标分别是p_l和p_r点，且P点的法向量是n，空间点P的在左右相机坐标系的深度值为z，那么：

因此，当在原始分辨率的左右人脸图像的立体匹配过程中，已知左图像素块内的任意一个坐标p_l，和极线搜索方向的候选匹配视差d(候选视差d可以通过z＝f*B/d得到其对应的深度值z)，就可以将其对应的右图坐标p_r，该坐标值为浮点数值，该坐标的灰度值可以通过双线性插值方式得到。

步骤S8、遍历整个RGB人脸图像，即得到精确的人脸深度图，利用内参矩阵反投影得到最终的人脸点云。

因为低分辨率深度图已经约束了原始分辨率图像上的立体匹配视差搜索候选区间，该区间范围往往会比较小，因此通过减少匹配次数大大降低了立体匹配算法计算量。遍历该区间内的所有候选视差值，每个候选视差在左右IR图像中对应的像素块都可以得到，通过计算其灰度一致性等相似性度量得到匹配代价，视差搜索候选区间上最大的匹配代价所在的视差即为其对应的视差值。遍历整个RGB人脸图像，即得到精确的人脸深度图，利用内参矩阵反投影得到最终的人脸点云。

通过以上实施步骤，便能解决在大范围[0.5m-8m]深度距离量程下人脸深度信息提取精度不高的问题，从而消除人脸曲面仿射变换影响，高效且精确地提取人脸深度特征信息。

容易理解的是，在远距离8m处，双目立体相机拍摄人脸曲面图像时，大焦距大基线矩的双目左右双目相机视场角小，散斑角分辨率固定情况下，距离越远，散斑纹理颗粒成像像素所占实际物理面积越大，点密度越低。本申请技术方案在降分辨率的图像上能够很好地提取人脸曲面法向信息，并且提供了低分辨率人脸深度图。利用低分辨率图像的深度图和法向信息指导双目立体匹配算法在原始高分辨率图像上进行人脸深度提取。利用法向信息使双目立体匹配算法进行高精度匹配，消除人脸曲面仿射变换影响，提升深度精度；通过降分辨率的人脸深度图，约束原始分辨率的立体匹配视差在极线方向上的搜索范围，大幅度降低计算复杂度，提升了算法计算效率。

本申请还提出了一种基于三目相机的三维人脸采集装置，所述三目相机包括中间的RGB相机和左右的IR相机、以及两组IR散斑投射器，所述基于三目相机的三维人脸采集装置，包括：

采集模块，用于获取三目相机采集的RGB人脸图像和左右IR散斑纹理人脸图像；

检测模块，用于利用RGB人脸图像进行人脸框和人脸关键点检测，得到精确的人脸关键点；

投影模块，用于将人脸关键点投影到左右IR散斑纹理人脸图像中，计算左右IR散斑纹理人脸图像中对应人脸关键点的坐标；

迭代模块，用于通过迭代人脸关键点在左右IR散斑纹理人脸图像上的投影位置，修正误差；

人脸框计算模块，用于计算基于左右IR散斑纹理人脸图像中的人脸关键点坐标信息最小外接矩形框的并集的行数和列数，作为左右人脸框的行数和列数；

法向图计算模块，用于计算RGB人脸图像原始分辨率的法向图；

左右投影模块，用于计算左IR散斑纹理人脸图像中的像素块像素坐标投影到右IR散斑纹理人脸图像中得到对应的灰度值；

输出模块，用于遍历整个RGB人脸图像，即得到精确的人脸深度图，利用内参矩阵反投影得到最终的人脸点云。

进一步的，所述迭代模块在通过迭代人脸关键点在左右IR散斑纹理人脸图像上的投影位置，修正误差时，还执行如下操作：

对RGB人脸图像和左右IR散斑纹理人脸图像进行降分辨率处理。

关于一种基于三目相机的三维人脸采集装置的具体限定可以参见上文中对于一种基于三目相机的三维人脸采集方法的限定，在此不再赘述。上述一种基于三目相机的三维人脸采集装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (4)

1.一种基于三目相机的三维人脸采集方法，其特征在于，所述三目相机包括中间的RGB相机和左右的IR相机、以及两组IR散斑投射器，所述基于三目相机的三维人脸采集方法，包括：

获取三目相机采集的RGB人脸图像和左右IR散斑纹理人脸图像；

利用RGB人脸图像进行人脸框和人脸关键点检测，得到精确的人脸关键点；

将人脸关键点投影到左右IR散斑纹理人脸图像中，计算左右IR散斑纹理人脸图像中对应人脸关键点的坐标；

通过迭代人脸关键点在左右IR散斑纹理人脸图像上的投影位置，修正误差；

计算基于左右IR散斑纹理人脸图像中的人脸关键点坐标信息最小外接矩形框的并集的行数和列数，作为左右人脸框的行数和列数；

计算RGB人脸图像原始分辨率的法向图；

计算左IR散斑纹理人脸图像中的像素块像素坐标投影到右IR散斑纹理人脸图像中得到对应的灰度值；

遍历整个RGB人脸图像，即得到精确的人脸深度图，利用内参矩阵反投影得到最终的人脸点云。

2.根据权利要求1所述的基于三目相机的三维人脸采集方法，其特征在于，所述通过迭代人脸关键点在左右IR散斑纹理人脸图像上的投影位置，修正误差，包括：

对RGB人脸图像和左右IR散斑纹理人脸图像进行降分辨率处理。

3.一种基于三目相机的三维人脸采集装置，其特征在于，所述三目相机包括中间的RGB相机和左右的IR相机、以及两组IR散斑投射器，所述基于三目相机的三维人脸采集装置，包括：

采集模块，用于获取三目相机采集的RGB人脸图像和左右IR散斑纹理人脸图像；

检测模块，用于利用RGB人脸图像进行人脸框和人脸关键点检测，得到精确的人脸关键点；

投影模块，用于将人脸关键点投影到左右IR散斑纹理人脸图像中，计算左右IR散斑纹理人脸图像中对应人脸关键点的坐标；

迭代模块，用于通过迭代人脸关键点在左右IR散斑纹理人脸图像上的投影位置，修正误差；

人脸框计算模块，用于计算基于左右IR散斑纹理人脸图像中的人脸关键点坐标信息最小外接矩形框的并集的行数和列数，作为左右人脸框的行数和列数；

法向图计算模块，用于计算RGB人脸图像原始分辨率的法向图；

左右投影模块，用于计算左IR散斑纹理人脸图像中的像素块像素坐标投影到右IR散斑纹理人脸图像中得到对应的灰度值；

输出模块，用于遍历整个RGB人脸图像，即得到精确的人脸深度图，利用内参矩阵反投影得到最终的人脸点云。

4.根据权利要求3所述的基于三目相机的三维人脸采集装置，其特征在于，所述迭代模块在通过迭代人脸关键点在左右IR散斑纹理人脸图像上的投影位置，修正误差时，还执行如下操作：

对RGB人脸图像和左右IR散斑纹理人脸图像进行降分辨率处理。