CN106164979A - 一种三维人脸重建方法及系统 - Google Patents

Abstract

本发明适用于图像处理技术领域，提供了一种三维人脸重建方法及系统，包括：在被测人脸左右两侧分别设置相同配置的三维成像单元；对所述三维成像单元进行双目标定，根据双目标定的结果建立所述三维成像单元采集的三维点云坐标与对应的相位之间的多项式关系，并确定两个所述三维成像单元采集的三维点云坐标之间的变换关系；通过所述三维成像单元采集所述被测人脸左右两侧的图像序列，得到所述图像序列的绝对相位；利用所述多项式关系，将所述图像序列的绝对相位映射为三维点云坐标；根据所述变换关系，将所述三维成像单元的三维点云坐标统一至全局坐标系中。本发明实现了人脸的快速三维重建，提高了人脸三维重建的处理效率。

Description

一种三维人脸重建方法及系统

技术领域

本发明属于计算机图形技术领域，尤其涉及一种三维人脸重建方法及系统。

背景技术

随着计算机图形技术的发展，三维人脸建模成为计算机图形学领域的一个研究热点。三维人脸建模逐渐被推广应用至虚拟现实、影视制作、医疗整形、人脸识别、游戏娱乐等诸多领域，具有很强的应用价值。

在三维人脸建模过程中，光学三维成像技术因其具有非侵犯性、数据采集速度快、测量精度高等优点，被技术人员所广泛采用，其中，基于条纹投影的三维成像技术已经获得了基本成熟的应用，然而，该方法的数据测量速度低，导致三维人脸建模的效率受到影响。

发明内容

本发明实施例提供一种三维人脸重建方法及装置，旨在解决目前基于条纹投影的三维成像技术数据测量速度低，导致三维人脸建模的效率受到影响的问题。

本发明实施例是这样实现的，一种三维人脸重建方法，包括：

在被测人脸左右两侧分别设置相同配置的三维成像单元；

对所述三维成像单元进行双目标定，根据双目标定的结果建立所述三维成像单元采集的三维点云坐标与对应的相位之间的多项式关系，并确定两个所述三维成像单元采集的三维点云坐标之间的变换关系；

通过所述三维成像单元采集所述被测人脸左右两侧的图像序列，得到所述图像序列的绝对相位；

利用所述多项式关系，将所述图像序列的绝对相位映射为三维点云坐标；

根据所述变换关系，将所述三维成像单元的三维点云坐标统一至全局坐标系中，完成所述被测人脸的三维重建。

本发明实施例的另一目的在于提供一种三维人脸重建系统，包括：

设置单元，用于在被测人脸左右两侧分别设置相同配置的三维成像单元；

标定单元，用于对所述三维成像单元进行双目标定，根据双目标定的结果建立所述三维成像单元采集的三维点云坐标与对应的相位之间的多项式关系，并确定两个所述三维成像单元采集的三维点云坐标之间的变换关系；

采集单元，用于通过所述三维成像单元采集所述被测人脸左右两侧的图像序列，得到所述图像序列的绝对相位；

映射单元，用于利用所述多项式关系，将所述图像序列的绝对相位映射为三维点云坐标；

重建单元，用于根据所述变换关系，将所述三维成像单元的三维点云坐标统一至全局坐标系中，完成所述被测人脸的三维重建。

在本发明实施例中，在对人脸进行三维重建的过程中，可以避免依据共轭极线和相位值对对应点进行查找的过程，实现人脸的快速三维重建，同时，通过标定左右两个三维成像单元之间的变换关系，实现了左右两侧三维数据的自动匹配，提高了人脸三维重建的处理效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的三维人脸重建方法的实现流程图；

图2是本发明实施例提供的三维成像单元设置示意图；

图3是本发明实施例提供的三维人脸重建方法S102的具体实现流程图；

图4是本发明实施例提供的三维人脸重建方法S102的原理示意图；

图5是本发明实施例提供的三维人脸重建方法处理流程示意图；

图6是本发明实施例提供的的三维人脸重建系统的结构框图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透切理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

图1示出了本发明实施例提供的三维人脸重建方法的实现流程，详述如下：

在S101中，在被测人脸左右两侧分别设置相同配置的三维成像单元。

在本实施例中，如图2所示，在被测人脸的左右两侧均布设相同配置的三维成像单元，用于分别获取被测人脸左右两侧的三维点云数据。具体地，每个三维成像单元由一个投影仪和一个工业相机构成，其中，将投影仪视为反向相机，而相机通过GigE端口与计算机连接，将采集得到的图像传输至计算机中处理。示例性地，每个三维成像单元中，投影仪与相机光轴之间的角度约为30度。在本发明实施例中，为了实现图像序列的同步采集，通过设置如图2所示的投影采集控制单元，来同步控制投影仪的图像投射动作及相机的图像采集动作。

在S102中，对所述三维成像单元进行双目标定，根据双目标定的结果建立所述三维成像单元采集的三维点云坐标与对应的相位之间的多项式关系，并确定两个所述三维成像单元采集的三维点云坐标之间的变换关系。

由于布设在被测人脸左右两侧的三维成像单元的配置相同，因此，对于这两个处于不同位置的三维成像单元来说，在双目标定过程中有着相同的标定方式，且根据双目标定的结果，可以确定这两个三维成像单元采集的三维点云坐标之间的变换关系。

在S102中，将表面印有已知三维坐标的基准点的平面标靶摆放在不同方位，控制两个三维成像单元依次对标靶进行均匀光照明，以及投射相移和格雷码结构光，并同时控制相机采集每个方位下的均匀光照和变形结构光图像，在此基础上，再对每个三维成像单元拟合三维点云数据坐标与相位之间的多项式关系。

具体地，如图3所示：

在S301中，基于预设的双目成像模型，确定所述相机的相机位置与所述投影仪的投影芯片位置的点对应关系及每个所述三维成像单元的系统参数。

根据文献“基于互补型光栅编码的相位展开，孙学真，邹小平，光学学报，第28卷，第10期”中提供的双目标定方法，将图2所示的每个三维成像单元中的投影仪看成反向相机，有以下双目成像模型：

$\left\{\begin{array}{c}{X}_c=R_c{X}_w+t_c\\ s_c{\tilde{m}}_c=K_c{\tilde{X}}_c\\ m_c={\hat{m}}_c-\mathrm{\δ}(m_c;{\mathrm{\θ}}_c)\\ s_p{\tilde{m}}_p=K_p\[R_s|T_s\]{\tilde{X}}_c\\ m_p={\hat{m}}_p-\mathrm{\δ}(m_p;{\mathrm{\θ}}_p)\end{array}\right.,$

该双目成像模型确定了相机位置m_c及投影芯片位置m_p的同名点对应关系根据该双目成像模型，可以分别得到左右两个三维成像单元的系统参数(R_cl,t_cl,K_cl,δ_cl,R_sl,t_sl,K_pl,δ_pl)和(R_cr,t_cr,K_cr,δ_cr,R_sr,t_sr,K_pr,δ_pr)。

在S302中，对所述相机任意像素位置的像素点，由所述系统参数确定从光心射出并经过该像素的射线，在所述射线的测量范围内抽样N个不同的三维点云坐标，所述N为大于1的整数。

在S303中，根据所述点对应关系，将所述三维点云坐标投影到所述投影芯片，得到所述三维点云坐标对应的相位，建立所述三维成像单元采集的三维点云坐标与对应的相位之间的多项式关系。

首先，对于投影芯片来说，其相位分布是由生成的理想条纹得到的，与三维场景无关，且沿三维点云坐标呈线性分布，因此，对于已经完成双目标定的三维成像单元来说，可以用闭区间连续函数来表示每个像素的相位与其三维点云坐标的对应关系。由Weierstrass逼近定理可知，任何闭区间连续函数都可以用多项式来逼近表达，因此，用相位的多项式来逼近表示一个像素对应的三维点云坐标：

多项式系数a₀,a₁,a₂…、b0,b₁,b₂…、c₀,c₁,c₂…表示了相位和三维点云坐标X_w(x_w,y_w,z_w)之间的n阶多项式映射关系。

其次，对于相机来说，如图4所示，对其任意像素位置(,j)的像素点，由其系统参数确定的从光心射出并经过该像素点的射线为在此射线的测量范围内抽样N个不同的三维点云坐标X_wk(x_wk,y_wk,z_wk)，k＝1,2,3,…,N，为了得到这些点所对应的绝对相位，根据S301中的双目成像模型，确定这些抽样点在投影芯片(DMD芯片)中的位置m_pk(u_p,v_p)，将该三维点云坐标投影到投影芯片，并根据绝对相位与投影芯片位置的线性关系(其中，Λ为相移条纹的空间周期)，可以得到其对应的相位由此，根据Weierstrass逼近定理得到该相位与三维坐标点的对应关系如下：

当抽样点N大于多项阶次n时，利用超定方程的最小二乘解来确定多项式系数a₀,a₁,a₂…、b₀,b₁,b₂…、c₀,c₁,c₂…，由此来确定出三维点云坐标与相位的多项式关系。

在S304中，标定两个所述三维成像单元之间的位置变换关系：

$R_{lr}=R_{cr}{R}_{cl}^{-1},T_{lr}=T_{cr}-R_{cr}{R}_{cl}^{-1}{T}_{cl},$

其中，R_cl和T_cl分别为左侧三维成像单元与世界坐标系的旋转矩阵和平移矩阵，R_cr和T_cr分别为右侧三维成像单元与世界坐标系的旋转矩阵和平移矩阵，R_lr和T_lr用于分别表示两个三维成像单元之间的相互变换关系，用于进行两个三维成像单元之间的三维点云数据自动匹配。

在S103中，通过所述三维成像单元采集所述被测人脸左右两侧的图像序列，得到所述图像序列的绝对相位。

在本实施例中，控制两个三维成像单元依次对被测人脸投射相移加格雷码的结构光，并同时控制相机采集变形的图像序列，得到图像序列的绝对相位。

绝对相位的获取，首先利用四步相移技术得到折叠相位然后根据互补格雷码的编码原则得到展开相位φ(i,j)，其中：

$\mathrm{\φ}(i,j)=arctan\frac{I_4(i,j)-I_2(i,j)}{I_1(i,j)-I_3(i,j)}:$

式中k₁和k₂分别为互补格雷码得到的两个具有互补性质的不同的折叠级次。

在S104中，利用所述多项式关系，将所述图像序列的绝对相位映射为三维点云坐标。

根据标定的每个像素点的相位与三维点云坐标的多项式关系，可以得到相机中每个不同像素位置(i,j)所对应的三维点云坐标X_w(y_w,y_w,z_w)。

在S105中，根据所述变换关系，将所述三维成像单元的三维点云坐标统一至全局坐标系中，完成所述被测人脸的三维重建。

将左右两侧得到的三维点云X_l、X_r匹配到全局坐标系，该全局坐标可以以左侧的三维成像单元为基准。如下所示：

$\left\{\begin{array}{c}{X}_{gr}=R_{lr}{X}_r+T_{lr}\\ X_{gl}=X_l\end{array}\right.$

由此，便实现了左右侧三维成像单元的X_gr，X_gl坐标系的统一，完成了被测人脸的三维重建。

此外，作为本发明的一个实施例，由于上述的三维人脸重建过程对于相机成像面的每个像素来说都是相互独立的，每个像素位置根据采集得到的图像序列和标定的多项式关系，能得到该点的三维点云坐标，有着极好的并行性，因此，可以利用图形处理器(Graphics Processing Unit，GPU)加速计算并行得到整个相机面阵的三维点云数据。

上述三维人脸重建方案的处理流程示意图可如图5所示。

在本发明实施例中，在对人脸进行三维重建的过程中，可以避免依据共轭极线和相位值对对应点进行查找的过程，实现人脸的快速三维重建，同时，通过标定左右两个三维成像单元之间的变换关系，实现了左右两侧三维数据的自动匹配，提高了人脸三维重建的处理效率。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

对应于上文实施例所述的三维人脸重建方法，图6示出了本发明实施例提供的三维人脸重建系统的结构框图，所述三维人脸重建系统可以为软件单元、硬件单元或者是软硬结合的单元。为了便于说明，仅示出了与本实施例相关的部分。

参照图6，该系统包括：

设置单元61，在被测人脸左右两侧分别设置相同配置的三维成像单元；

标定单元62，对所述三维成像单元进行双目标定，根据双目标定的结果建立所述三维成像单元采集的三维点云坐标与对应的相位之间的多项式关系，并确定两个所述三维成像单元采集的三维点云坐标之间的变换关系；

采集单元63，通过所述三维成像单元采集所述被测人脸左右两侧的图像序列，得到所述图像序列的绝对相位；

映射单元64，利用所述多项式关系，将所述图像序列的绝对相位映射为三维点云坐标；

重建单元65，根据所述变换关系，将所述三维成像单元的三维点云坐标统一至全局坐标系中，完成所述被测人脸的三维重建。

可选地，所述设置单元61包括：

配置子单元，为每个所述三维成像单元配置一个投影仪和一个相机，且将所述投影仪用做反向的所述相机；

设置子单元，设置投影采集控制单元，用于同步控制所述投影仪的图像投射动作及所述相机的图像采集动作。

可选地，所述标定单元62包括：

确定子单元，基于预设的双目成像模型，确定所述相机的相机位置与所述投影仪的投影芯片位置的点对应关系及每个所述三维成像单元的系统参数；

抽样子单元，对所述相机任意像素位置的像素点，由所述系统参数确定从光心射出并经过该像素的射线，在所述射线的测量范围内抽样N个不同的三维点云坐标；

建立子单元，根据所述点对应关系，将所述三维点云坐标投影到所述投影芯片，得到所述三维点云坐标对应的相位，建立所述三维成像单元采集的三维点云坐标与对应的相位之间的多项式关系。

可选地，所述标定单元62还用于：

确定所述变换关系为：

其中，R_cl和T_cl分别为左侧三维成像单元与世界坐标系的旋转矩阵和平移矩阵，R_cr和T_cr分别为右侧三维成像单元与世界坐标系的旋转矩阵和平移矩阵，R_lr和T_lr用于分别表示两个三维成像单元之间的相互变换关系。

可选地，所述系统还包括：

并行计算单元，用于利用图形处理器GPU加速计算并行处理所述图像序列中的每个像素。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明实施例各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例各实施例技术方案的精神和范围。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种三维人脸重建方法，其特征在于，包括：

在被测人脸左右两侧分别设置相同配置的三维成像单元；

对所述三维成像单元进行双目标定，根据双目标定的结果建立所述三维成像单元采集的三维点云坐标与对应的相位之间的多项式关系，并确定两个所述三维成像单元采集的三维点云坐标之间的变换关系；

通过所述三维成像单元采集所述被测人脸左右两侧的图像序列，得到所述图像序列的绝对相位；

利用所述多项式关系，将所述图像序列的绝对相位映射为三维点云坐标；

根据所述变换关系，将所述三维成像单元的三维点云坐标统一至全局坐标系中，完成所述被测人脸的三维重建。

2.如权利要求1所述的方法，其特征在于，所述在被测人脸左右两侧分别设置相同配置的三维成像单元包括：

为每个所述三维成像单元配置一个投影仪和一个相机，且将所述投影仪用做反向的所述相机；

设置投影采集控制单元，用于同步控制所述投影仪的图像投射动作及所述相机的图像采集动作。

3.如权利要求2所述的方法，其特征在于，所述对所述三维成像单元进行双目标定，根据双目标定的结果建立所述三维成像单元采集的三维点云坐标与对应的相位之间的多项式关系包括：

基于预设的双目成像模型，确定所述相机的相机位置与所述投影仪的投影芯片位置的点对应关系及每个所述三维成像单元的系统参数；

对所述相机任意像素位置的像素点，由所述系统参数确定从光心射出并经过该像素的射线，在所述射线的测量范围内抽样N个不同的三维点云坐标；

根据所述点对应关系，将所述三维点云坐标投影到所述投影芯片，得到所述三维点云坐标对应的相位，建立所述三维成像单元采集的三维点云坐标与对应的相位之间的多项式关系。

4.如权利要求1所述的方法，其特征在于，所述确定两个所述三维成像单元采集的三维点云坐标之间的变换关系包括：

确定所述变换关系为：

其中，R_cl和T_cl分别为左侧三维成像单元与世界坐标系的旋转矩阵和平移矩阵，R_cr和T_cr分别为右侧三维成像单元与世界坐标系的旋转矩阵和平移矩阵，R_lr和T_lr用于分别表示两个三维成像单元之间的相互变换关系。

5.如权利要求1所述的方法，其特征在于，所述方法还包括：

利用图形处理器GPU加速计算并行处理所述图像序列中的每个像素。

6.一种三维人脸重建系统，其特征在于，包括：

设置单元，用于在被测人脸左右两侧分别设置相同配置的三维成像单元；

标定单元，用于对所述三维成像单元进行双目标定，根据双目标定的结果建立所述三维成像单元采集的三维点云坐标与对应的相位之间的多项式关系，并确定两个所述三维成像单元采集的三维点云坐标之间的变换关系；

采集单元，用于通过所述三维成像单元采集所述被测人脸左右两侧的图像序列，得到所述图像序列的绝对相位；

映射单元，用于利用所述多项式关系，将所述图像序列的绝对相位映射为三维点云坐标；

重建单元，用于根据所述变换关系，将所述三维成像单元的三维点云坐标统一至全局坐标系中，完成所述被测人脸的三维重建。

7.如权利要求6所述的系统，其特征在于，所述设置单元包括：

配置子单元，用于为每个所述三维成像单元配置一个投影仪和一个相机，且将所述投影仪用做反向的所述相机；

设置子单元，用于设置投影采集控制单元，用于同步控制所述投影仪的图像投射动作及所述相机的图像采集动作。

8.如权利要求7所述的系统，其特征在于，所述标定单元包括：

确定子单元，用于基于预设的双目成像模型，确定所述相机的相机位置与所述投影仪的投影芯片位置的点对应关系及每个所述三维成像单元的系统参数；

抽样子单元，用于对所述相机任意像素位置的像素点，由所述系统参数确定从光心射出并经过该像素的射线，在所述射线的测量范围内抽样N个不同的三维点云坐标；

建立子单元，用于根据所述点对应关系，将所述三维点云坐标投影到所述投影芯片，得到所述三维点云坐标对应的相位，建立所述三维成像单元采集的三维点云坐标与对应的相位之间的多项式关系。

9.如权利要求6所述的系统，其特征在于，所述标定单元还用于：

确定所述变换关系为：

其中，R_cl和T_cl分别为左侧三维成像单元与世界坐标系的旋转矩阵和平移矩阵，R_cr和T_cr分别为右侧三维成像单元与世界坐标系的旋转矩阵和平移矩阵，R_lr和T_lr用于分别表示两个三维成像单元之间的相互变换关系。

10.如权利要求6所述的系统，其特征在于，所述系统还包括：

并行计算单元，用于利用图形处理器GPU加速计算并行处理所述图像序列中的每个像素。