CN112381721A - 一种基于双目视觉的人脸三维重建方法 - Google Patents

Abstract

本申请公开了一种基于双目视觉的人脸三维重建方法及系统，涉及到计算机视觉技术领域。首先通过双目视觉的作用，采集人脸的面部信息，从而获得最初的人脸三维点云，在采用基于DBCSCAN的优化算法对人脸的三维点云进行精简操作，从而获得最终的人脸精简三维点云。最后采用Delaunay三角剖分的方法对人脸三维点云进行网格化，形成人脸的三维网格，之后在人脸三维网格上进行纹理贴图，最终形成人脸的三维模型。解决了现有的人脸三维重建方法的人工化以及不能重建具有尺度信息和表面信息的人脸三维模型问题，获得了一个精准度高，操作便捷且具有人脸表面细节的人脸三维重建结果，实现了人脸三维模型更加广阔的应用。

Description

一种基于双目视觉的人脸三维重建方法

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种基于双目视觉的人脸三维重建方法。

背景技术

人脸信息是识别他人身份的重要信息，三维信息在机器视觉的多个领域和方向有着重要的应用。因此，将常见的平面人脸图像立体化就有着显著的意义。目前，常见的人脸三维重建方法有：由三维激光扫描仪获取深度图的方法，基于特征点调整标准模型的三维人脸建模方法，统计模型。由三维激光扫描仪获取深度图的方法可以得到准确的模型和逼真的重建效果，但由于数字化仪价格高昂，使用环境不方便，深度图的数据量大等，使其应用受限，同时需要较多的人工参与。基于特征点调整标准模型的三维人脸建模方法，算法简单，效率高，可操作性强，但是分析的难度比较大，同时三维特征点的提取涉及对应问题也比较困难。因此，为了保证其准确性和稳定性，减少相应的复杂度，同样需要人工的时刻参与。统计模型可以完全自动的完成人脸建模任务，但是这种方法需要一个庞大的样本库，其准确性依赖于这些样本，建模结果只是这些样本的统计估计值，其实用性还有待证明。除此之外，主动表象模型还缺少纹理的变化。从上述对人脸三维重建技术的研究中可以发现上述的方法都各有各的局限性

目前，越来越多的领域需要对人脸进行三维重建，从而获得人脸的尺度信息和表面信息。因此，如何获得一个精准度高且没有变形的人脸三维重建结果是目前亟待解决的问题。

发明内容

本申请提供了一种结合人脸特征点和人脸三维点云的方案，能克服上述缺点，从而可以获得一个具有人脸尺度信息和表面信息的人脸三维点云。

为解决上述的技术问题，本发明提供的技术方案是一种基于双目视觉的人脸三维重建方法，所述方法包括以下步骤：

步骤一：建立双目立体视觉标定系统：选取张正友标定法对双目摄像头进行标定，在 Matlab摄像机标定工具箱的基础上完成双目立体视觉的标定，同时对标定结果进行误差分析；

步骤二：用左右两个摄像机对人脸进行拍摄，得到多组不同角度的左右人脸图像对。

步骤三：图像校正：在完成步骤二的基础上，为确保图像校正的准确性，对各组图像对进行无相机标定的图像校正，获得多组图像校正人脸图像对。

步骤四：立体匹配：采用水平Sobel算子对图像进行处理，将处理后的图像上的像素点映射成一个新的图像。采用SGBM算法对图像进行后处理，只要包含：唯一性检测，亚像素插值以及左右一致性检测。最终获得人脸精准的视差图；

步骤五：人脸的三维点云：不同角度的视差图对应不同角度的点云数据，从而获得不同角度的三维点云信息；

步骤六：人脸三维点云的优化：对步骤四中所获得的三维点云信息进行平滑、去噪等处理，之后将多角度的点云进行精细配准，将经过处理后的人脸三维点云进行融合；

步骤七：人脸三维点云的精简：对步骤六中所获得三维点云进行优化。本发明采用改进的基于密度的方法(Density-based methods，DBSCAN)对人脸的三维点云进行优化，对点云中高密度的点云进行搜索，改善了DBSCAN算法的不足，从而达到对人脸三维点云精简的效果；

步骤八：人脸的三维重建：采用Delaunay三角剖分的方式对步骤七的人脸三维点云进行网格化，从而构成凸多边形的表面。

步骤九：纹理贴图：在步骤八中的人脸三维网格图的基础上进行纹理的贴图；

步骤十：形成精准度较高的人脸三维重建模型。

2、根据权利要求1所述的基于双目视觉的人脸三维重建方法，其特征在于，步骤三中所述无相机标定的图像校正算法包括以下步骤：

步骤一：映射极点到无穷远点：图像的校正就是将图像的位姿进行不断变换，在变换的过程中，对极点将映射到无穷远点。其中平移矩阵T，图像的高度和宽度分别为h和w，旋转矩阵为R，设极点被投影到无穷远处的坐标为(f，0，1)^T，对极点映射到无穷远的变换可用公式：

其反平移变换矩阵K可表示为：

右侧图像的单应变换矩阵H′可表示为：H′＝KGRT′。

步骤二：极线匹配变换

一对单应变换矩阵对H和H′满足的条件是对某矢量h，满足关系如下：

H＝(I+H′p_rh^T)H′M

假设H_A＝I+H′p_rh^T，H₀＝H′M，则上式可以简写为H＝H_AH₀，假设h＝(h₁，h₂，h₃)^T则H_A＝I+(1， 0，0)^Th^T表示一个仿射变换，H_A的表达式如下：

从而对单应矩阵H的求解转化为利用线性方法求解矩阵H_A。

3、根据权利要求1所述的基于双目视觉的人脸三维重建方法，其特征在于，步骤六所述的关于精细配准包括以下步骤：

步骤一：确定对应点对：在待匹配点云B中搜索出点云A中对应点中的最近点，这样的点构成对应点对；

步骤二：计算两组新点集的质心，计算公式为：

步骤三：计算目标函数，令

目标函数最小值原则表达式为：

步骤四：将待匹配点云进行平移旋转变换：

这样待匹配点云进行了一次平移旋转；

步骤五：计算点对的平均距离，令

计算公式为：

式中，

为k次与k+1次迭代的平均距离。

步骤六：当

时，迭代结束，否则继续迭代。

4、根据权利要求1所述的基于双目视觉的人脸三维重建方法，其特征在于，步骤七中所述DBSCAN优化算法包括以下步骤：

步骤一：进行第一次DBCSCAN算法聚类，得到点云的初步分类；

步骤二：给定对象半径ε内的邻域成为该对象的ε邻域，ε邻域中至少包含最小数据MinP，满足这一条件的核心对象P_i，Pi＝{p_i，1，p_i，2，p_i，3}，待判定样本Q，Q＝{x，y，z}，计算样本Q到ε邻域内一点的距离M以及计算样本Q到ε邻域内各点的平均距离a_i计算函数分别为：

M＝√(x-p_i，1)²+(y-p_i，2)²+(z-p_i，3)²，

若a_i小于

那么样本Q密度可达，

就是判断Q点是否密度可达的密度值。若样本Q在两个ε邻域中皆密度可达，那么设置

为新的密度值进行运算；

步骤三：选定密度值，进行第二次DBSCAN聚类，最终得到改进的点云聚类效果。

本申请与现有技术相比，其有益效果详细说明如下：本发明实施例提供的基于双目视觉的人脸三维重建方法及系统，通过双目视觉的作用，采集人脸的面部信息，从而获得最初的人脸三维点云；采用优化的DBCSCAN算法对人脸的三维点云进行精简操作，从而获得最终的人脸三维点云；采用Delaunay三角剖分的方法对人脸三维点云进行网格化，最终形成人脸的三维网格，最终形成人脸的三维模型。解决了现有的人脸三维重建方法的人工化以及不能重建具有尺度信息和表面信息的人脸三维模型问题，获得了一个精准度高，操作便捷且具有人脸表面细节的人脸三维重建结果，实现了人脸三维模型更加广阔的应用。

附图说明

图1是本发明所述的基于双目视觉的人脸三维重建方法的流程图。

图2是本发明所述的双目视觉系统进行双目视觉标定的流程图。

图3是本发明所述的人脸三维点云精细配准的流程图。

图4是本发明所述的人脸三维点云精简算法优化的流程图。

图5是本发明所述的人脸三维点云精简的流程图。

具体实施方式

为了使本领域的技术人员更好的理解本发明的技术方案，下面结合附图和具体实施例对本发明实施例进行详细描述。

如图1所示，本发明实施了一种基于双目视觉的人脸三维重建方法，该方法包括以下步骤：

步骤一：建立双目立体视觉标定系统：选取张正友标定法对双目摄像头进行标定，在 Matlab摄像机标定工具箱的基础上完成双目立体视觉的标定，同时对标定结果进行误差分析；

此处采用的摄像头分辨率为640×480，帧率为60fps，基线为7cm。

需要说明的是，本发明所采用的双目标定方法是张正友标定法，其基本流程如图2所示，包括：

1)制作一个精度高的标定板；

2)双目摄像头对标定板进行拍摄，并且不断变换标定板的位姿

3)分别对两个摄像头进行单目标定求取位姿参数

4)根据标定的畸变系数将采集的图像校正

5)误差分析，看误差是否在可接受范围之内，如果超过既定的范围，那么就需要重新标定。

本实例误差在实际的实验中占比不足千分之一，误差结果可以忽略不计，体现了此次双目标定具有较好的准确性

步骤二：用左右两个摄像机对人脸进行拍摄，得到多组不同角度的左右人脸图像对。

步骤三：对各组图像对进行无相机标定的图像校正，获得多组图像校正人脸图像对。

无相机标定的图像校正步骤如下：

1)映射极点到无穷远点：图像的校正就是将图像的位姿进行不断变换，在变换的过程中，对极点将映射到无穷远点。其中平移矩阵T，图像的高度和宽度分别为h和w，旋转矩阵为R，设极点被投影到无穷远处的坐标为(f，0，1)^T，对极点映射到无穷远的变换可用公式：

其反平移变换矩阵K可表示为：

右侧图像的单应变换矩阵H′可表示为：H′＝KGRT′。

2)极线匹配变换

一对单应变换矩阵对H和H′满足的条件是对某矢量h，满足关系如下：

H＝(I+H′p_rh^T)H′M

假设H_A＝I+H′p_rh^T，H₀＝H′M，则上式可以简写为H＝H_AH₀，假设h＝(h₁，h₂，h₃)^T则H_A＝I+(1， 0，0)^Th^T表示一个仿射变换，H_A的表达式如下：

从而对单应矩阵H的求解转化为利用线性方法求解矩阵HA。

步骤四：采用SGBM算法对该组图像人脸校正对进行立体匹配的操作，从而获得多组不同角度的具有深度信息的人脸视差图。

步骤五：将该视差图进行三维点云化。需要注意的是，初步的获得三维点云信息常伴有噪声点以及其他我们并不需要的点，因此，我们还需要对这样的三维点云信息进行平滑、去噪等处理，从而获得最初的人脸三维点云。

步骤六：对不同角度的人脸三维点云进行精细配准操作，除去脸部周围的点以及脸部重合的点云，从而获得完整的具有多角度的人脸三维点云。

需要说明的是，本发明提供了一种人脸三维点云的精细配准方法，其基本流程如图3所示，包括：

1)确定对应点对：在待匹配点云B中搜索出点云A中对应点中的最近点，这样的点构成对应点对；

2)计算两组新点集的质心，计算公式为：

3)计算目标函数，令

目标函数最小值原则表达式为：

4)将待匹配点云进行平移旋转变换：

这样待匹配点云进行了一次平移旋转；

5)计算点对的平均距离，令

计算公式为：

式中，

为k次与k+1次迭代的平均距离。

6)当

时，迭代结束，否则继续迭代。

步骤七：在进行点云融合之后对所获得的点云进行精简，采用基于DBSCAN的优化算法，对点云中密集的点云进行优先搜索，去除了点云中并不重要的点，从而达到了精简点云的效果。

需要说明的是，本发明提供了一种基于DBSCAN的优化算法，算法优化的流程图如图4所示，包括：

1)进行第一次DBCSCAN算法聚类；

2)得到点云的初步分类；

3)给定对象半径ε内的邻域成为该对象的ε邻域，ε邻域中至少包含最小数据MinP，满足这一条件的核心对象P_i，Pi＝{p_i，1，p_i，2，p_i，3}，待判定样本Q，Q＝{x，y，z}，计算样本Q到ε邻域内一点的距离M以及计算样本Q到ε邻域内各点的平均距离a_i计算函数分别为：

M＝√(x-p_i，1)²+(y-p_i，2)²+(z-p_i，3)²，

若a_i小于

那么样本Q密度可达，

就是判断Q点是否密度可达的密度值。若样本Q在两个ε邻域中皆密度可达，那么设置

为新的密度值进行运算；

4)设置密度值，进行第二次DBSCAN分类；

5)得到改进的点云聚类效果；

需要说明的是，本发明提供了一种基于DBSCAN优化算法的人脸三维点云精简算法，其流程如图五所示，包括：

1)输入人脸三维点云信息；

2)使用优化的聚类算法对点云进行聚类；

3)设置密度值；

4)计算每一个聚类中心与该聚类中所有点的距离；

5)以密度值为标准，在每一个聚类中去除掉密度值不匹配的点；

6)点云得到精简。

步骤八：对精简过的人脸三维点云进行Delaunay三角网格剖分，形成人脸的三维网格；

步骤九：在步骤八中的人脸三维网格图的基础上进行纹理的贴图。需要说明的是在图像校正后，所有的原图像都已经转化为灰度图像，因此，我们用灰度图进行纹理贴图的工作。

步骤十：形成精准度高的人脸三维重建模型。

以上所述仅为本发明的实施具体说明，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所做的等效结构或等流程变换，或直接或间接运用在相关技术领域，均同理包括在本发明的专利保护范围。

Claims (4)

1.一种基于双目视觉的人脸三维重建方法，其特征在于，所述方法包括以下步骤：

步骤一：建立双目立体视觉标定系统：选取张正友标定法对双目摄像头进行标定，在Matlab摄像机标定工具箱的基础上完成双目立体视觉的标定，同时对标定结果进行误差分析；

步骤二：用左右两个摄像机对人脸进行拍摄，得到多组不同角度的左右人脸图像对。

步骤三：图像校正：在完成步骤二的基础上，为确保图像校正的准确性，对各组图像对进行无相机标定的图像校正，获得多组图像校正人脸图像对。

步骤四：立体匹配：采用水平Sobel算子对图像进行处理，将处理后的图像上的像素点映射成一个新的图像。采用SGBM算法对图像进行后处理，只要包含：唯一性检测，亚像素插值以及左右一致性检测。最终获得人脸精准的视差图；

步骤五：人脸的三维点云：不同角度的视差图对应不同角度的点云数据，从而获得不同角度的三维点云信息；

步骤六：人脸三维点云的优化：对步骤四中所获得的三维点云信息进行平滑、去噪等处理，之后将多角度的点云进行精细配准，将经过处理后的人脸三维点云进行融合；

步骤七：人脸三维点云的精简：对步骤六中所获得三维点云进行优化。本发明采用改进的基于密度的方法(Density-based methods，DBSCAN)对人脸的三维点云进行优化，对点云中高密度的点云进行搜索，改善了DBSCAN算法的不足，从而达到对人脸三维点云精简的效果；

步骤八：人脸的三维重建：采用Delaunay三角剖分的方式对步骤七的人脸三维点云进行网格化，从而构成凸多边形的表面。

步骤九：纹理贴图：在步骤八中的人脸三维网格图的基础上进行纹理的贴图；

步骤十：形成精准度较高的人脸三维重建模型。

2.根据权利要求1所述的基于双目视觉的人脸三维重建方法，其特征在于，步骤三中所述无相机标定的图像校正算法包括以下步骤：

步骤一：映射极点到无穷远点：图像的校正就是将图像的位姿进行不断变换，在变换的过程中，对极点将映射到无穷远点。其中平移矩阵T，图像的高度和宽度分别为h和w，旋转矩阵为R，设极点被投影到无穷远处的坐标为(f，0，1)^T，对极点映射到无穷远的变换可用公式：

其反平移变换矩阵K可表示为：

右侧图像的单应变换矩阵H′可表示为：H′＝KGRT′。

步骤二：极线匹配变换

一对单应变换矩阵对H和H′满足的条件是对某矢量h，满足关系如下：

H＝(I+H′p_rh^T)H′M

假设H_A＝I+H′p_rh^T，H₀＝H′M，则上式可以简写为H＝H_AH₀，假设h＝(h₁，h₂，h₃)^T则H_A＝I+(1，0，0)^Th^T表示一个仿射变换，H_A的表达式如下

从而对单应矩阵H的求解转化为利用线性方法求解矩阵H_A。

3.根据权利要求1所述的基于双目视觉的人脸三维重建方法，其特征在于，步骤六所述的关于精细配准包括以下步骤：

步骤一：确定对应点对：在待匹配点云B中搜索出点云A中对应点中的最近点，这样的点构成对应点对；

步骤二：计算两组新点集的质心，计算公式为：

步骤三：计算目标函数，令

目标函数最小值原则表达式为：

步骤四：将待匹配点云进行平移旋转变换：

这样待匹配点云进行了一次平移旋转；

步骤五：计算点对的平均距离，令

计算公式为：

式中，

为k次与k+1次迭代的平均距离。

步骤六：当

时，迭代结束，否则继续迭代。

4.根据权利要求1所述的基于双目视觉的人脸三维重建方法，其特征在于，步骤七中所述DBSCAN优化算法包括以下步骤：

步骤一：进行第一次DBCSCAN算法聚类，得到点云的初步分类；

步骤二：给定对象半径ε内的邻域成为该对象的ε邻域，ε邻域中至少包含最小数据MinP，满足这一条件的核心对象P_i，Pi＝{p_i，1，p_i，2，p_i，3}，待判定样本Q，Q＝{x，y，z}，计算样本Q到ε邻域内一点的距离M以及计算样本Q到ε邻域内各点的平均距离a_i计算函数分别为：

M＝√(x-p_i，1)²+(y-p_i，2)²+(z-p_i，3)²，

若a_i小于

那么样本Q密度可达，

就是判断Q点是否密度可达的密度值。若样本Q在两个ε邻域中皆密度可达，那么设置

为新的密度值进行运算；

步骤三：选定密度值，进行第二次DBSCAN聚类，最终得到改进的点云聚类效果。

Images