CN108734776B - 一种基于散斑的三维人脸重建方法及设备 - Google Patents

Abstract

本发明公开了基于散斑的三维人脸重建方法及设备，能够在提高图像特征丰富度的同时降低匹配计算量，实现在三维人脸重建效率和重建精度的同步提高。该方法包括：输入多幅符合双目立体视觉的散斑图像对；对输入的散斑图像对进行极线校正以使对应匹配点处于同一水平线；对经过极线校正的散斑图像对进行人脸检测，提取待重建人脸的感兴趣区域图像对；对感兴趣区域图像对进行第一匹配处理，获取第一视差图；根据第一视差图中的视差设置匹配点搜索范围，对感兴趣区域图像对进行第二匹配处理，获取第二视差图；根据第二视差图和相机标定参数生成对应的三维点云数据，获得重建的三维人脸。

Description

一种基于散斑的三维人脸重建方法及设备

技术领域

本发明涉及多目立体视觉技术领域，尤其涉及一种基于散斑的三维人脸重建方法及设备。

背景技术

当前，三维数据广泛应用于航空航天、3D打印、地理测绘、人脸检测等众多领域。实时精确地获取时空域数据，一直是三维信息采集和三维场景重建的核心问题，也是计算机几何学领域研究的热点方向。

三维人脸建模源于Parke的开创性研究，其目的是通过计算机生成逼真的三维人脸。获取三维人脸深度信息是重建高精度三维人脸模型的基本前提，而三维人脸数据的采集可通过单目或多目相机进行。

其中，多目立体视觉主要应用场景是将二维投影图像恢复为三维场景，采用计算同一空间点在左右图像中的视差来获取该点的三维坐标信息，该方法对弱纹理区域重建效果较差，不适合应用于纹理不显著场景。飞行时间测量法通过测量光线到达物体飞行时间来获取深度值，需要极其精密的仪器设备来完成测量，因此该方法难以实现复杂场景下的实时三维重建。结构光法通过投射出经过被物体高度调制后的结构光场进行计算，即人工纹理，可提供具有丰富结构特征的纹理，增强局部图像在不同相机下的相关性，从而提高三维重建精度，因此成为研究热点。

目前，申请号为201580008078.0的中国专利申请公开了一种三维人脸重建方法及设备，虽然其在理想情况下可能实现快速的三维重建，但该方法在用于散斑图像时由于采用相位展开方法其精度和速度都有所欠缺。申请号为200910093767.2的中国专利申请公开了另一种三维人脸重建方法，其采用人脸形变模型的纹理分量进行人脸纹理拟合，但用于散斑图像依然精度不高，生成模型与真实人脸有一定差距。现有的三维重建技术均存在计算量大且计算效率重建速度较慢、精度不高的技术问题。

发明内容

本发明的目的之一至少在于，针对如何克服上述现有技术存在的问题，提供一种基于散斑的三维人脸重建方法及设备，能够在提高图像特征丰富度的同时降低匹配计算量，实现在三维人脸重建效率和重建精度的同步提高。

为了实现上述目的，本发明采用的技术方案包括以下各方面。

一种基于散斑的三维人脸重建方法，其包括：

输入多幅符合双目立体视觉的散斑图像对；对输入的散斑图像对进行极线校正以使对应匹配点处于同一水平线；对经过极线校正的散斑图像对进行人脸检测，提取待重建人脸的感兴趣区域图像对；

对感兴趣区域图像对进行第一匹配处理，获取第一视差图；根据第一视差图中的视差设置匹配点搜索范围，对感兴趣区域图像对进行第二匹配处理，获取第二视差图；根据第二视差图和相机标定参数生成对应的三维点云数据，获得重建的三维人脸。

一种基于散斑的三维人脸重建设备，其包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的方法。

综上所述，由于采用了上述技术方案，本发明至少具有以下有益效果：

通过对待测人脸进行时空编码，通过双目相机采集高分辨率的散斑图像，使图像特征更加丰富；并采用人脸检测算法选取兴趣区域，过滤无关背景获得人脸区域，降低后续匹配阶段的搜索范围，减少后续匹配计算量，提升了算法的整体效率；采用改进后的时空ZNCC算法作为代价函数进行匹配计算，实现了高精度的三维人脸重建效果，相比于普通单帧图像采用时空图像进行三维人脸重建具有更高的精度。

附图说明

图1是根据本发明实施例的基于散斑的三维人脸重建方法的流程图。

图2和图3是根据本发明实施例的示例性散斑图像对中的左右图像。

图4和图5是根据本发明实施例的示例性感兴趣区域图像对中的左右图像。

图6是根据本发明实施例的第一匹配处理中跳跃步长的示意图。

图7是根据本发明实施例的示例性第一视差图。

图8是对图7所示视差图进行图像后处理之后的视差图。

图9是根据本发明实施例的示例性第二视差图。

图10是对图9所示视差图进行图像后处理之后的视差图。

图11和图12是根据本发明实施例重建的示例性三维人脸模型图像。

图13是根据本发明实施例的基于散斑的三维人脸重建设备的结构示意图。

具体实施方式

下面结合附图及实施例，对本发明进行进一步详细说明，以使本发明的目的、技术方案及优点更加清楚明白。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

图1示出了根据本发明实施例的基于散斑的三维人脸重建方法的主要流程。该实施例的方法包括以下步骤：

步骤101：输入多幅符合双目立体视觉的散斑图像对

具体地，可以从存储器直接读取已经存储的散斑图像对，也可以通过具有散斑结构光投射器的双目立体视觉系统来获取。具体地，散斑结构光投射器在不同的时刻向被测人脸投射多幅不同的散斑图片，双目相机中的左右相机分别在对应的时刻拍摄经过人脸表面形态调制的光场，获取经过时间和空间特征调制(即时空编码)的散斑图像对，图2和图3示出了示例性散斑图像对中的左右图像。如此获取的散斑图像对包含了丰富的时空特征，能够提高后续立体匹配的成功率以及精度。

步骤102：对输入的散斑图像对进行极线校正以使对应匹配点处于同一水平线

例如，对于左右相机分别获取的每一对左右散斑图像L_i和R_i(散斑图像索引i＝1,2,3,…)进行极线校正，使得左右散斑图像L_i和R_i上的对应匹配点均处于同一水平线，即位于散斑图像对的同一行上，从而减少后续步骤的计算量。

步骤103：对经过极线校正的散斑图像对进行人脸检测，提取待重建人脸的感兴趣区域图像对

具体地，可以使用预设尺寸的矩形检测框对散班图像进行剪裁，获取含人脸中心部分的人脸区域图像，如图4和图5所示，其包括了人脸整体面部。其中，矩形检测框的尺寸可以设置为稍大于人脸区域范围(例如，矩形检测框与人脸区域的比例为1.5:1)，以为后续重建步骤预留足够的边缘区域，从而获取完整的三维人脸。

步骤104：对感兴趣区域图像对进行第一匹配处理，获取第一视差图

其中，第一匹配处理包括：从感兴趣区域图像对中的一者(例如左感兴趣区域图像)上的起始像素点开始，以预设的跳跃步长在另一者(例如右感兴趣区域图像，反之亦然)对应行上的预设视差阈值范围内进行匹配点搜索，并计算搜索到的对应匹配点之间的视差值，生成经过粗匹配的第一视差图。

步骤105：根据第一视差图中的视差设置匹配点搜索范围，对感兴趣区域图像对进行第二匹配处理，获取第二视差图

其中，第二匹配处理不设置跳跃步长，逐像素在另一幅图像中搜索匹配点，但由于根据第一视差图中各像素的视差值来设置搜索范围，能够大幅缩小搜索范围，减少计算量，提高搜索效率和准确率，从而快速获取精确匹配的第二视差图。

步骤106：根据第二视差图和相机标定参数生成对应的三维点云数据，获得重建的三维人脸

此步骤可以采用OpenCV或Matlab等平台提供的功能模块，通过输入视差图数据和相机标定参数来获取相应的三维点云数据。其中，相机标定参数包括左右相机的参数标定，采用标准标定板拍摄不同姿态下的9张(或更多张)照片用于计算获取标定参数。

下文结合示例性的实施例对上述的第一匹配处理和第二匹配处理进行详细说明。如图6所示，P₀和P₁是左感兴趣区域图像上的两个像素点，预设的跳跃步长可以设置为二者之间的距离S(例如，S＝15像素)，从起始像素(例如第一行第一个像素)开始，每隔距离S，在右感兴趣区域图像对应行上预设视差阈值范围内进行匹配点搜索。跳跃步长S的选取在第一匹配阶段可以设置为尽可能大，若原图尺寸为M*N，而经跳跃步长抽样匹配后的图片尺寸为

对于第一匹配处理(即粗匹配)，可以通过将零均值归一化互相关ZNCC代价函数进行化简变形，得到时空ZNCC匹配代价计算式：

式中，C_ZNCC(x,y,d)表示左图像上像素点(x,y)经平移d个像素点后得到在右图像素点所花费的匹配代价；

表示第n帧左图像上像素点的灰度，k和p表示以像素点(x,y)为窗口中心窗口内偏移(k,p)后的位置；n表示图像索引，m表示图像总数，

表示左图像上像素点(x,y)平移d个像素点后在右图像上对应像素点的灰度；

和

分别表示左图像在中心点(x,y)处以及右图像在中心点(x+d,y)处以边长为2l+1的方形窗口内的平均灰度。其中，l为窗口大小控制参数，在进行第一匹配处理时，可以选取较大的l值(例如7像素)，即在粗匹配阶段采用大窗口策略，因为粗匹配的结果会被后续精匹配进一步优化，为减少误匹配点。

进一步根据匹配代价函数计算式CostF(q,q_d)＝1-C_ZNCC(x,y,d)，得到对应匹配点视差d*计算式：

其中，q和q_d分别为左、右图像上的像素点，q＝(x,y)，q_d＝(x-d,y)间的匹配点视差为d*，d_min和d_max分别为最小、最大视差阈值(例如，可以根据实际情况分别设置为300和300的整数倍)。可通过设置d_min和d_max的值来设置视差搜索范围。根据计算的匹配点视差，即可获取如图7所示的第一视差图。

在本发明优选的实施例中，还包括进行左右一致性检查的步骤以提高匹配精度，即在从左到右匹配之后，再从右到左匹配来判断匹配位置与原位置是否一致，从而剔除误匹配点和遮挡点。具体地，通过分别求得左右两幅图像的视差，若左图像中的点p_L求得视差为d_l，则在右图像中对应点为p_R＝p_L-d_l，记该点匹配回左图的视差为d_r。设置阈值δ(例如，δ＝4)，若|d_l-d_r|＞δ，则p_L为误匹配点或遮挡点(如图7中的不规则分布的反差较大的点)。

在第一匹配阶段视差计算时，因误匹配产生孤立点和因不可靠匹配(即未能通过左右一致性检查)导致空洞，可以通过图像后处理去掉此类孤点，并通过双线性插值填充视差空洞，此外，在粗匹配阶段因跳跃略过的像素点P_k(i＜k＜j)的视差，可由跳跃点P_i和P_j的视差估计得到,具体通过图像上采样实现，最终得到如图8所示的粗视差图。

对于第二匹配处理(即精匹配、逐点匹配)，在进行匹配点搜索时，设置匹配点搜索范围为[x-d_c-d_f,x-d_c+d_f]，其中d_c是第一匹配求得视差，x-d_c是左图像素点在右图上搜索到的同源匹配点，d_f是右图匹配点的搜索半径(例如d_f＝11)，再采用对应匹配点视差d^*计算式

计算对应匹配点的视差，得到如图9所示第二匹配视差图。由于采用时空匹配，所用特征较普通的空域特征更加丰富，因此采用较小的匹配窗口对噪声也依然鲁棒，故与粗匹配相比，在精匹配阶段可以选用较小匹配窗口来提高匹配精度。

类似的，可以进一步对图9所示的视差图进行图像后处理，得到如图10所示的视差图。

根据第二视差图和相机标定参数生成对应的三维点云数据而重建的三维人脸模型图像如图11和图12所示，其中，图11示出了带纹理的三维人脸，可看出人脸具有较强真实感且面部细节清晰，无空洞和毛刺；图12示出了去掉纹理后的三维人脸，可看出面部平滑度较高，立体特征较为明显。

图13示出了根据本发明实施例的基于散斑的三维人脸重建设备，即电子设备1310(例如具备程序执行功能的计算机服务器)，其包括至少一个处理器1311，电源1314，以及与所述至少一个处理器1311通信连接的存储器1312和输入输出接口1313；所述存储器1312存储有可被所述至少一个处理器1311执行的指令，所述指令被所述至少一个处理器1311执行，以使所述至少一个处理器1311能够执行前述任一实施例所公开的方法；所述输入输出接口1313可以包括显示器、键盘、鼠标、以及USB接口，用于输入人脸三维模型数据；电源1314用于为电子设备1310提供电能。

本领域技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。

当本发明上述集成的单元以软件功能单元的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明具体实施方式的详细说明，而非对本发明的限制。相关技术领域的技术人员在不脱离本发明的原则和范围的情况下，做出的各种替换、变型以及改进均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于散斑的三维人脸重建方法，其特征在于，所述方法包括：

输入多幅符合双目立体视觉的散斑图像对；对输入的散斑图像对进行极线校正以使对应匹配点处于同一水平线；对经过极线校正的散斑图像对进行人脸检测，提取待重建人脸的感兴趣区域图像对；

对感兴趣区域图像对进行第一匹配处理，获取第一视差图；根据第一视差图中的视差设置匹配点搜索范围，对感兴趣区域图像对进行第二匹配处理，获取第二视差图；根据第二视差图和相机标定参数生成对应的三维点云数据，获得重建的三维人脸；

所述第一匹配处理包括：从感兴趣区域图像对中的一者上的起始像素点开始，以预设的跳跃步长在另一者对应行上的预设视差阈值范围内进行匹配点搜索，并计算搜索到的对应匹配点之间的视差值，其中，因跳跃略过的像素点P_k，i<k<j，可由跳跃点P_i和P_j的视差估计得到，具体通过图像上采样实现；进而生成第一视差图；

所述根据第一视差图中的视差设置匹配点搜索范围包括：设置匹配点搜索范围为[x-d_c-d_f,x-d_c+d_f]，其中d_c是第一匹配求得视差，x-d_c是左图像素点在右图上搜索到的同源匹配点，d_f是右图匹配点的搜索半径；所述第二匹配处理不设置跳跃步长，逐像素在另一幅图像中搜索匹配点。

2.根据权利要求1所述的方法，其特征在于，所述方法包括在进行第一匹配处理和第二匹配处理中：基于零均值归一化互相关ZNCC代价函数得到时空ZNCC匹配代价计算式：

式中，C_ZNCC(x,y,d)表示左图像上像素点(x,y)经平移d个像素点后得到在右图像素点所花费的匹配代价；

表示第n帧左图像上像素点的灰度，k和p表示以像素点(x,y)为窗口中心窗口内偏移(k,p)后的位置；n表示图像索引，m表示图像总数，

表示左图像上像素点(x,y)平移d个像素点后在右图像上对应像素点的灰度；

和

分别表示左图像在中心点(x,y)处以及右图像在中心点(x+d,y)处以边长为2l+1的方形窗口内的平均灰度，l为窗口大小控制参数。

3.根据权利要求2所述的方法，其特征在于，所述方法包括：根据匹配代价函数计算式CostF(q,q_d)＝1-C_ZNCC(x,y,d)，得到对应匹配点视差d^*计算式：

其中，q和q_d分别为左、右图像上的像素点，q＝(x,y)，q_d＝(x-d,y)间的匹配点视差为d^*，d_min和d_max分别为最小、最大视差阈值。

4.根据权利要求1所述的方法，其特征在于，所述方法包括：在获取第一视差图之后，进行左右一致性检查以剔除误匹配点和遮挡点，并通过双线性插值填充视差空洞。

5.根据权利要求4所述的方法，其特征在于，所述左右一致性检查包括：分别求得左右图像的视差，若左图像中的点p_L求得视差为d_l，则在右图像中对应点为p_R＝p_L-d_l，记该点匹配回左图的视差为d_r，设置阈值δ，若|d_l-d_r|＞δ，则p_L为误匹配点或遮挡点。

6.根据权利要求5所述的方法，其特征在于，所述阈值δ＝4。

7.根据权利要求1所述的方法，其特征在于，所述搜索半径d_f＝11。

8.一种基于散斑的三维人脸重建设备，其特征在于，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器:所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至7中任一项所述的方法。

Images