CN115063524A - 一种3d人脸识别的重建方法及装置 - Google Patents

Abstract

本发明涉及视觉识别与数字处理技术领域，提供一种3D人脸识别的重建方法及装置，其中人脸识别的重建方法，包括如下操作步骤：获取经立体成像设备采集的多张RGBD图像；对RGBD图像中的RGBD数据进行预处理；采用基于Haar特征和肤色模型进行人脸检测，获取人脸重建区域；根据RGBD图像的深度信息、RGB信息进行三维人脸重建，得到多个三维人脸模型；将深度信息、RGB信息转换成点云的数据结构；对所述点云的数据结构进行配准，完成多个三维人脸模型的融合；本发明用以解决现有技术中人脸三维模型重建的弊端，提高3D人脸模型重建的效率和精细度。

Description

一种3D人脸识别的重建方法及装置

技术领域

本发明涉及视觉识别与数字处理技术领域，具体涉及一种3D人脸识别的重建方法及装置。

背景技术

人脸是人体最重要的生物特征之一，而人脸研究主要集中在人脸识别方面，人脸的表达模型分为2D人脸和3D人脸。2D人脸识别研究的时间相对较长，方法流程也相对成熟，在多个领域都有使用。2D人脸识别的优势是实现的算法相对比较多，有一套比较成熟的流程，图像数据获取比较简单，只需一个普通摄像头即可，所以基于2D图像数据的人脸识别是目前的主流，在安防、监控、门禁、考勤、金融身份辅助认证、娱乐等多种场景中都有应用。

但由于2D信息存在深度数据丢失的局限性，无法完整的表达出真实人脸，所以在实际应用中存在着一些不足，例如识别准确率不高、活体检测准确率不高等。

3D人脸模型比2D人脸模型有更强的描述能力，能更好的表达出真实人脸，所以基于3D数据的人脸识别不管识别准确率还是活体检测准确率都有很大的提高。现有技术中获取人脸三维模型的方式通常是在不同视角下获取多个三维模型，然后再对这些模型进行手动拼接。这样不仅数据精度无法保证，还极大的增加了工作量。随后出现了基于旋转平台的圆周全景重建，利用旋转平台得到精确的旋转角度，通过空间坐标变换将多视角三维模型统一到同一个坐标系下，从而实现三维重建。但该方法操作繁琐，对外部环境要求较高，并不适用于现场操作。

因此，本方案提出一种新的基于3D人脸模型的重建方法，用以提到3D人脸模型重建的效率和精细度。

发明内容

解决的技术问题

针对现有技术的不足，本发明提供了一种3D人脸识别的重建方法及装置，解决了现有技术中人脸三维模型重建方案存在的弊端，提高3D人脸模型重建的效率和精细度。

技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

本发明一方面提供一种3D人脸识别的重建方法，包括如下操作步骤：

获取经立体成像设备采集的多张RGBD图像；

对RGBD图像中的RGBD数据进行预处理；

采用基于Haar特征和肤色模型进行人脸检测，获取人脸重建区域；

根据RGBD图像的深度信息、RGB信息进行三维人脸重建，得到多个三维人脸模型；

将深度信息、RGB信息转换成点云的数据结构；

对所述点云的数据结构进行配准，完成多个三维人脸模型的融合；

在融合获得三维人脸模型后，配合纹理映射技术获得逼真三维人脸模型。

本发明另一方面提供一种3D人脸识别的重建装置，包括：

图像采集模块：用于获取成像设备采集的多张RGBD图像；

图像处理模块：用于对RGBD图像进行预处理，并进行人脸检测，获取人脸重建区域；

人脸三维重建模块：用于根据人脸重建区域和深度信息、RGB信息进行三维人脸重建；

融合、渲染模块：用于将三维人脸重建后的多三维人脸模型进行融合，并对融合后的模型纹理映射渲染输出。

优选地，在对RGBD数据进行预处理后，需要对RGBD数据的深度信息、RGB信息进行配准，用于保证每个点的RGB数据跟深度数据都能对应，所述配准包括时间上的配准、空间上的配准。

优选地，所述人脸重建区域获取步骤如下：

采用基于Adaboost算法的人脸检测方法进行快速检测；

对每个检测到的人脸区域，通过所述肤色模型进行验证；

采用坐标约束法完成人脸对齐；

对检测到的人脸肤色区域进行形态学处理，提取精简区域；

获得最终的所述人脸重建区域。

优选地，对所述点云的数据结构进行配准的步骤如下：

将不同角度、不同时间获取的多帧3D图像叠加到同一个世界坐标系，获得一组完整的点云数据；

采用基于SIFT特征的三维拼接方法进行初步配准；

在进行初步配准后，采用基于最小二乘法的ICP算法进行最优配准。

有益效果

本发明提供了一种3D人脸识别的重建方法及装置，与现有公知技术相比，本发明的具有如下有益效果：

本发明通过采用3D相机获取待处理对象的RGBD图像，利用RGBD图像的深度信息、RGB信息进行三维人脸重建，通过将深度信息、RGB信息转换成点云的数据结构，配合配准算法对点云的数据结构进行处理，获得三维人脸模型，较现有技术的利用旋转平台得到精确的旋转角度，从而建立精确地相机坐标的方式，本方案通过算法对深度信息、RGB信息的点云数据进行计算、处理，即可获得更加精确模型重建，大大地降低耗材成本，简化了操作步骤；同时通过基于Haar特征和肤色模型进行人脸检测，获取人脸重建区域，结合的人脸检测方法，有效地降低了人脸过程的整体耗时，提高了人脸模型重建的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的3D人脸识别的重建方法流程图；

图2为本发明的人脸重建区域获取步骤流程图；

图3为本发明的图像坐标系跟相机坐标系的关系示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例：

本发明一方面提供一种3D人脸识别的重建方法，参照图1，包括如下操作步骤：

步骤1：获取经立体成像设备采集的多张RGBD图像；

步骤2：对RGBD图像中的RGBD数据进行预处理；

步骤3：采用基于Haar特征和肤色模型进行人脸检测，获取人脸重建区域；

步骤4：根据RGBD图像的深度信息、RGB信息进行三维人脸重建，得到多个三维人脸模型；

步骤5：将深度信息、RGB信息转换成点云的数据结构；

步骤6：对点云的数据结构进行配准，完成多个三维人脸模型的融合；

步骤7：在融合获得三维人脸模型后，配合纹理映射技术获得逼真三维人脸模型。

本实施例中，采用深度相机(为基于结构光的RGB-D相机)用以获取人脸的RGBD图像，RGB-D相机的3D结构光模组包括IR红外光发射模组，用于发射经过特殊调制的不可见红外光至拍摄物体；IR红外接收模组，用于接收由被拍摄物体反射回来的不可见红外光,追踪每一个光斑偏移，从而获取物体表面的景深信息；镜头模组--采用普通镜头模组，用于获取RGB图片。其工作原理为：IR红外光发射模组在目标面上发出光光栅，并根据其变形计算表面的形状，从而计算面部深度信息，在测量深度之后，RGB-D相机通常根据制作时每个相机的位置完成深度和彩色图像像素之间的配对，并输出一对一对应的彩色图和深度图。

其中，针对RGBD数据的预处理采用双边滤波、高斯滤波、条件滤波、直通滤波、随机采样一致滤波的一种或多种，对RGBD数据行噪声滤波，去除数据中的散列点、孤立点。

本实施例优选地，在对RGBD数据进行预处理后，需要对RGBD数据的深度信息、RGB信息进行配准，用于保证每个点的RGB数据跟深度数据都能对应，配准包括时间上的配准、空间上的配准。

3D模组输出的是两组数据，RGB图像跟深度数据，这两组数据分别使用两个模组采集，这里要保证使用的两个模组采集的图像数据在时间上是同步的，摄像头厂家一般会提供设置帧同步API；模组的RGB摄像头跟深度摄像头在硬件上的安装位置可能存在偏移，摄像头的视角方向可能存在偏移，这时就需要对采集的图像数据进行偏移校准，使RGB图像上的每个点的坐标跟深度数据的每个点的坐标都一一对应，一般摄像头厂家会提供空间配准的API。

在步骤3中，参照图2，本实施例对人脸重建区域获取步骤如下：

步骤31：采用基于Adaboost算法的人脸检测方法进行快速检测；

步骤32：对每个检测到的人脸区域，通过肤色模型进行验证；

步骤33：采用坐标约束法完成人脸对齐；

步骤34：对检测到的人脸肤色区域进行形态学处理，提取精简区域；

步骤35：获得最终的人脸重建区域。

在步骤6中，本实施例对所述点云的数据结构进行配准的步骤如下：

步骤61：将不同角度、不同时间获取的多帧3D图像叠加到同一个世界坐标系，获得一组完整的点云数据；

由于我们采集的是3D数据信息，坐标表示为(x，y，z)，需要引入相机坐标，主要是为了表示出z坐标的位置。需要将图像坐标系转换到相机坐标系中，图像坐标系跟相机坐标系的关系，参照图3：

根据相似三角形的原理，可以得出图3物理点的位置P点的坐标为：

其中上式中，f为相机的焦距，Zc为深度信息。转换成矩阵的表达方式为：

坐标系转换完毕之后就能按照PCL中定义类型<PointXYZ>PointCloud、<PointXYZRGB>PointCloud将RGBD的数据转换成点云数据。

步骤62：采用基于SIFT特征的三维拼接方法进行初步配准；

步骤63：在进行初步配准后，采用基于最小二乘法的ICP算法进行最优配准。

其中，ICP算法进行最优配准包括如下步骤：

设置两点之间的距离阈值，查找对应点；通过旋转平移矩阵对源点云数据进行变换，得到变换后的点云，并与目标点云数据进行比较，只要两个点云中存在距离小于设定的阈值，就认为这两个点就是对应点；

假设有两组点云：

P＝{p₁····p_n},P′＝{p₁′····p′_n}

采用最小二乘等方法求解最优的旋转平移矩阵，其中，平移矩阵分为旋转R与平移t两个部分；

满足：p_i＝Rp′_i+t

求解：

获得新的平移矩阵，继续查找相应点，直到满足一些迭代终止条件。迭代终止条件包括：R、T的变化量小于设定值，或者上述目标函数的变化小于一定值，或者邻近点对不再变化。

本发明另一方面提供一种3D人脸识别的重建装置，包括：

图像采集模块：用于获取成像设备采集的多张RGBD图像；

图像处理模块：用于对RGBD图像进行预处理，并进行人脸检测，获取人脸重建区域；

人脸三维重建模块：用于根据人脸重建区域和深度信息、RGB信息进行三维人脸重建；

融合、渲染模块：用于将三维人脸重建后的多三维人脸模型进行融合，并对融合后的模型纹理映射渲染输出。

本发明通过采用3D相机获取待处理对象的RGBD图像，利用RGBD图像的深度信息、RGB信息进行三维人脸重建，通过将深度信息、RGB信息转换成点云的数据结构，配合配准算法对点云的数据结构进行处理，获得三维人脸模型，较现有技术的利用旋转平台得到精确的旋转角度，从而建立精确地相机坐标的方式，本方案通过算法对深度信息、RGB信息的点云数据进行计算、处理，即可获得更加精确模型重建，大大地降低耗材成本，简化了操作步骤；同时通过基于Haar特征和肤色模型进行人脸检测，获取人脸重建区域，结合的人脸检测方法，有效地降低了人脸过程的整体耗时，提高了人脸模型重建的效率。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种3D人脸识别的重建方法，其特征在于，包括如下操作步骤：

获取经立体成像设备采集的多张RGBD图像；

对RGBD图像中的RGBD数据进行预处理；

采用基于Haar特征和肤色模型进行人脸检测，获取人脸重建区域；

根据获取深度信息、RGB信息进行三维人脸重建，得到多个三维人脸模型；

将深度信息、RGB信息转换成点云的数据结构；

对所述点云的数据结构进行配准，完成多个三维人脸模型的融合；

在融合获得三维人脸模型后，配合纹理映射技术获得逼真三维人脸模型。

2.根据权利要求1所述的一种3D人脸识别的重建方法，其特征在于，所述预处理采用双边滤波、高斯滤波、条件滤波、直通滤波、随机采样一致滤波的一种或多种，对RGBD数据行噪声滤波，去除数据中的散列点、孤立点。

3.根据权利要求1或2所述的一种3D人脸识别的重建方法，其特征在于，在对RGBD数据进行预处理后，需要对RGBD数据的深度信息、RGB信息进行配准，用于保证每个点的RGB数据跟深度数据都能对应，所述配准包括时间上的配准、空间上的配准。

4.根据权利要求1所述的一种3D人脸识别的重建方法，其特征在于，所述多张RGBD图像采用3D结构光模组获取，所述3D结构光模组包括IR红外光发射模组，用于发射经过特殊调制的不可见红外光至拍摄物体；IR红外接收模组，用于接收由被拍摄物体反射回来的不可见红外光,追踪每一个光斑偏移，从而获取物体表面的景深信息；镜头模组--采用普通镜头模组，用于获取RGB图片。

5.根据权利要求1所述的一种3D人脸识别的重建方法，其特征在于，所述人脸重建区域获取步骤如下：

采用基于Adaboost算法的人脸检测方法进行快速检测；

对每个检测到的人脸区域，通过所述肤色模型进行验证；

采用坐标约束法完成人脸对齐；

对检测到的人脸肤色区域进行形态学处理，提取精简区域；

获得最终的所述人脸重建区域。

6.根据权利要求1所述的一种3D人脸识别的重建方法，其特征在于，对所述点云的数据结构进行配准的步骤如下：

将不同角度、不同时间获取的多帧3D图像叠加到同一个世界坐标系，获得一组完整的点云数据；

采用基于SIFT特征的三维拼接方法进行初步配准；

在进行初步配准后，采用基于最小二乘法的ICP算法进行最优配准。

7.根据权利要求6所述的一种3D人脸识别的重建方法，其特征在于，所述ICP算法进行最优配准包括如下步骤：

设置两点之间的距离阈值，查找对应点；通过旋转平移矩阵对源点云数据进行变换，得到变换后的点云，并与目标点云数据进行比较，只要两个点云中存在距离小于设定的阈值，就认为这两个点就是对应点；

采用最小二乘等方法求解最优的旋转平移矩阵；

获得新的平移矩阵，继续查找相应点，直到满足一些迭代终止条件。

8.一种3D人脸识别的重建装置，其特征在于，包括：

图像采集模块：用于获取成像设备采集的多张RGBD图像；

图像处理模块：用于对RGBD图像进行预处理，并进行人脸检测，获取人脸重建区域；

人脸三维重建模块：用于根据人脸重建区域和深度信息、RGB信息进行三维人脸重建；

融合、渲染模块：用于将三维人脸重建后的多三维人脸模型进行融合，并对融合后的模型纹理映射渲染输出。

Images