CN104077808A - 一种用于计算机图形图像处理的、基于深度信息的实时三维人脸建模方法 - Google Patents

Abstract

本发明提出一种从深度信息直接进行实时三维人脸建模的方法，本发明没有采用先前任何标准人脸模型，而是通过配准和集成多幅人脸深度图进行直接三维实时建模。其步骤包括：系统的搭建及从kinect获取的深度信息；将深度图中的人脸分割出来；进行反投影形成三维点云；进行滤波、配准、集成、绘制及显示。采用本发明，只需要用户坐在kinect前，即可快速生成用户所需的三维实时人脸模型，极大地降低以往用激光扫描进行三维人脸建模的成本和制作时间而且也避免了用二维图像进行三维人脸建模带来的误差，以较低的成本实现了三维实时人脸建模。

Description

一种用于计算机图形图像处理的、基于深度信息的实时三维人脸建模方法

技术领域

本发明涉及计算机图形图像处理技术领域，具体指一种用于计算机图形图像处理的、基于深度信息的实时三维人脸建模方法 

背景技术

三维重建技术是计算机视觉、人工智能、虚拟现实等前沿领域的热点和难点，也是人类在基础研究和应用研究中面临的重大挑战之一，被广泛应用于文物数字化、生物医学成像、动漫制作、工业测量、沉浸式虚拟交互等领域。而现有的三维重建技术，按照获取深度信息的方式，可分为被动式技术和主动式技术。被动式技术利用自然光反射，一般通过摄像头拍摄图片，然后通过一系列的算法计算得到物体的三维坐标信息，如structure from motion和multi-view stereo。structure from motion技术利用不同时间的图像建立对应关系，因此只适用于刚性物体；multi-view stereo技术适用于刚体，但是计算量非常大，现阶段很难做到实时。主动式技术包含一个光源，直接测量物体的深度信息，因而很容易做到实时效果，如采用结构光技术的kinect和采用time of flight技术的camcube。而相对于camcube，采用结构光技术的kinect价格更便宜，更容易推广。 

本发明着重解决三维人脸建模，选用深度数据作为三维人脸建模的数据来源。kinect得到的深度图像精度低，并包含大量噪声。因此在三维重建之前需要对得到的深度图像进行滤波，降低噪声.本发明使用基于Prewitt算子的分块自适应阈值边缘检测算法可得到比较精细的图像边缘；进而根据获取边缘信息对深度图像进行分类，边缘区采用单向多级中值滤波算法进行降噪处理，而非边缘区采用双向多级中值滤波算法进行降噪处理。最终利用Kinect得到边缘清晰，噪声较小的高质量深度图，从而不会影响建模的效果，本发明使用kd-tree icp进行顶点贴图配准，解决了原始icp配准时间慢，精度低的问题，使得顶点贴图可以得到高精度、快速的配准。 

发明内容

本发明的目的是提出一种用于计算机图形图像处理的、基于深度信息的实时三维人脸建模方法。 

本发明所采用的技术方案是： 

(1)数据的获取：用户坐在kinect正前方0.5米左右处，kinect在时间τ从kinect获取一张原始的深度图D_τ，D_τ由一组像素(u,v)组成，每个像素深度值为D_τ(u,v)； 

(2)分割：1)将深度图分为于前景区和背景区，前景区包含用户的整个身体，背景区只 包含剩下的环境。使用连通分量分析确定前景区域，当两个相邻深度像素的差异低于一个临界值时被认为是相邻的。假设前景区域是距离相机最短距离的最大部分；2)为了确定头部区域，本发明是寻找一条水平线将前景区域分为头部区域和躯干区域，这样便可得到头部区域： 

$D_{\mathrm{\τ}(u,v)}^{\′}=\left\{\begin{array}{ccccc}{D}_{\mathrm{\τ}}(u,v)& \mathrm{iff}& M_{\mathrm{\τ}}(u,v)=1& \mathrm{and}& v\≤s\\ 0& & \mathrm{other}& \mathrm{wise}& \end{array}\right.---\left(1\right)$

(3)去噪：通过kinect获得的深度图通常是有噪声的，在头发区域尤其明显，这些噪声会影响图像配准，为了提高配准将运用基于Prewitt算子的分块自适应阈值边缘检测算法可得到比较精细的图像边缘；进而根据获取边缘信息对深度图像进行分类，边缘区采用单向多级中值滤波算法进行降噪处理，而非边缘区采用双向多级中值滤波算法进行降噪处理。最终利用Kinect得到边缘清晰，噪声较小的高质量深度图： 

$D_{\mathrm{\τ}(u,v)}^{\′\′}=\left\{\begin{array}{ccc}{D}_{\mathrm{\τ}}^{\′}(u,v)& \mathrm{iff}& \mathrm{\σ}{(u,v)}^2\≤{\mathrm{\σ}}_{\max }^2\\ 0& \mathrm{other}& \mathrm{wise}\end{array}\right.---\left(2\right)$

(4)反投影：为了对多幅深度图进行配准，首先将深度图进行反投影形成一个三维点云，然后评估每一个顶点的表面法向量。通过反投影产生了一个顶点贴图V_τ： 

V_τ(u,v)＝D″_τ(u,v)K^-1[u,v,-1]^T    (3) 

每个顶点法向量可由相邻顶点的叉积进行评估： 

N_τ(u,v)＝[V_τ(u+1,v)-V_τ(u,v)]×[V_τ(u,v+1)-V_τ(u,v)]    (4) 

(5)配准：为了得到一个三维人脸模型，需要校准一些顶点贴图，对于每个顶点贴图需要确定一个刚体变换矩阵 $T_{g,\mathrm{\τ}}=\left[\begin{array}{cc}{R}_{g,\mathrm{\τ}}& t_{g,\mathrm{\τ}}\\ 0& I\end{array}\right]$ 将顶点和法向量转换到一个全局坐标空间中去，为了计算用于配准三维点云的刚体变换矩阵，本发明使用基于kd-tree加速的icp算法来求解； 

(6)集成：在上述步骤都完成后，将处理后的多幅深度图进行集成便形成了一个三维人脸模型。一个立体空间被用于建立人脸模型，这个立体空间只有人头的大小。立体空间为521×512×512三维空间，每一个立体像素p包含一个权值w(p)和一个符号距离f(p)，符号距离只有在一个表面附近才准确，所以他们会被截断以阻止表面间的相互干扰。这样每个被分割的深度图像D″_τ(u,v)逐渐融合成立体模型； 

其中 $f\left(p\right)\←\frac{w\left(p\right)f\left(p\right)+w_{\mathrm{\τ}}\left(p\right)f_{\mathrm{\τ}}\left(p\right)}{w\left(p\right)f\left(p\right)}---\left(5\right)$

w_τ(p)和f_τ(p)分别为增量权值和增量符号距离，为了确定w_τ(p)和f_τ(p)，立体像素p被映射到深度图中，而符号距离是通过从深度测量值中减去立体像素的深度值被计算的。 

$S_p=D_{\mathrm{\τ}}^{\′\′}(u,v)-\frac{{\left|\right|{T_{g,\mathrm{\τ}}}^{-1}p\left|\right|}_2}{{\left|\right|K^{-1}{[u,v,1]}^T\left|\right|}_2}---\left(7\right)$

并得到 $f_{\mathrm{\τ}}\left(p\right)=\mathrm{sign}\left(S_p\right)\min (1,\frac{\left|S_p\right|}{u})---\left(8\right)$

(7)描绘：由于在配准时，可能会有多幅图像在相同部位都会有空洞，尤其是在人头的边缘部分如头发耳朵及脸部边缘，这样在集成后形成的三维模型可能还是会有空洞，模型建的并不完整，所以本发明在将多幅图进行集成后要对相同部位具有空洞的地方进行插值，这里我们使用三次卷积法进行插值。这样就可以建立一个完整的三维人脸模型。 

本发明的优势是(1)本发明使用基于Prewitt算子的分块自适应阈值边缘检测算法可得到比较精细的图像边缘；进而根据获取边缘信息对深度图像进行分类，边缘区采用单向多级中值滤波算法进行降噪处理，而非边缘区采用双向多级中值滤波算法进行降噪处理。最终利用Kinect得到边缘清晰，噪声较小的高质量深度图；(2)使用kd-tree icp进行顶点贴图配准，解决了原始icp配准时间慢，精度低的问题，使得顶点贴图可以得到高精度、快速的配准，从而可以进行高效的建模；(3)本发明极大地降低以往用激光扫描进行三维人脸建模的成本和制作时间而且也避免了用二维图像进行三维人脸建模带来的误差，以较低的成本实现了三维人脸实时建模。 

附图说明

图1为本发明的方案流程图。 

图2、图3、图4、图5、图6为本发明建立的三维模型 

具体实施方式

一种用于计算机图形图像处理的、基于深度信息的实时三维人脸建模，其特征在于，该方法的步骤如下： 

(1)数据的获取：用户坐在kinect正前方0.5米左右处，kinect在时间τ从kinect获取一张原始的深度图D_τ，D_τ由一组像素(u,v)组成，每个像素深度值为D_τ(u,v)； 

(2)分割：1)本发明是将深度图分为于前景区和背景区，前景区包含用户的整个身体，背景区只包含剩下的环境。使用连通分量分析确定前景区域，当两个相邻深度像素的差异低 于一个临界值时被认为是相邻的。假设前景区域是距离相机最短距离的最大部分；2)为了确定头部区域，本发明是寻找一条水平线将前景区域分为头部区域和躯干区域，这样便可得到头部区域： 

$D_{\mathrm{\τ}(u,v)}^{\′}=\left\{\begin{array}{ccccc}{D}_{\mathrm{\τ}}(u,v)& \mathrm{iff}& M_{\mathrm{\τ}}(u,v)=1& \mathrm{and}& v\≤s\\ 0& & \mathrm{other}& \mathrm{wise}& \end{array}\right.---\left(1\right)$

(3)去噪：通过kinect获得的深度图通常是有噪声的，在头发区域尤其明显，这些噪声会影响图像配准，为了提高配准将运用基于Prewitt算子的分块自适应阈值边缘检测算法可得到比较精细的图像边缘；进而根据获取边缘信息对深度图进行分类，边缘区采用单向多级中值滤波算法进行降噪处理，而非边缘区采用双向多级中值滤波算法进行降噪处理。最终利用Kinect得到边缘清晰，噪声较小的高质量深度图： 

$D_{\mathrm{\τ}(u,v)}^{\′\′}=\left\{\begin{array}{ccc}{D}_{\mathrm{\τ}}^{\′}(u,v)& \mathrm{iff}& \mathrm{\σ}{(u,v)}^2\≤{\mathrm{\σ}}_{\max }^2\\ 0& \mathrm{other}& \mathrm{wise}\end{array}\right.---\left(2\right)$

(4)反投影：为了对多幅深度图像进行配准，首先讲深度图进行反投影形成一个三维点云，然后评估每一个顶点的表面法向量。通过反投影产生了一个顶点贴图V_τ： 

V_τ(u,v)＝D″_τ(u,v)K^-1[u,v,-1]^T    (3) 

每个顶点法向量可由相邻顶点的叉积进行评估 

N_τ(u,v)＝[V_τ(u+1,v)-V_τ(u,v)]×[V_τ(u,v+1)-V_τ(u,v)]    (4) 

(5)配准：为了得到一个三维人脸模型，需要校准一些顶点贴图，对于每个顶点贴图需要确定一个刚体变换矩阵 $T_{g,\mathrm{\τ}}=\left[\begin{array}{cc}{R}_{g,\mathrm{\τ}}& t_{g,\mathrm{\τ}}\\ 0& I\end{array}\right]$ 将顶点和法向量转换到一个全局坐标空间中去，为了计算用于配准三维点云的刚体变换矩阵，本发明使用基于kd-tree加速的icp算法来求解； 

(6)集成：在上述步骤都完成后，将处理后的多幅深度图进行集成便形成了一个三维人脸模型。一个立体空间被用于建立人脸模型，这个立体空间只有人头的大小。立体空间为521×512×512三维空间，每一个立体像素p包含一个权值w(p)和一个符号距离f(p)，符号距离只有在一个表面附近才准确，所以他们会被截断以阻止表面间的相互干扰。这样每个被分割的深度图D″_τ(u,v)逐渐融合成立体模型； 

其中 $f\left(p\right)\←\frac{w\left(p\right)f\left(p\right)+w_{\mathrm{\τ}}\left(p\right)f_{\mathrm{\τ}}\left(p\right)}{w\left(p\right)f\left(p\right)}---\left(5\right)$

w_τ(p)和f_τ(p)分别为增量权值和增量符号距离，为了确定w_τ(p)和f_τ(p)，立体像素p被映射到深度图中，而符号距离是通过从深度测量值中减去立体像素的深度值被计算的： 

$S_p=D_{\mathrm{\τ}}^{\′\′}(u,v)-\frac{{\left|\right|{T_{g,\mathrm{\τ}}}^{-1}p\left|\right|}_2}{{\left|\right|K^{-1}{[u,v,1]}^T\left|\right|}_2}---\left(7\right)$

并得到 $f_{\mathrm{\τ}}\left(p\right)=\mathrm{sign}\left(S_p\right)\min (1,\frac{\left|S_p\right|}{u})---\left(8\right)$

(7)描绘：由于在配准时，可能会有多幅图在相同部位都会有空洞，尤其是在人头的边缘部分如头发耳朵及脸部边缘，这样在集成后形成的三维模型可能还是会有空洞，模型建的并不完整，所以我们在将多幅图进行集成前要对相同部位具有空洞的地方进行插值，这里使用三次卷积法进行插值。 

经过以上这些步骤，该算法在深度人脸数据的基础上，实现精度较高、速度较快的三维人脸建模。 

Claims (1)

1.一种用于于计算机图形图像处理的、基于深度信息的实时三维人脸建模方法，其特征权利在于，该方法的步骤如下：

(1)数据的获取：用户坐在kinect正前方0.5米左右处，kinect在时间τ从kinect获取一张原始的深度图D_τ，D_τ由一组像素(u,v)组成，每个像素深度值为D_τ(u,v)；

(2)分割：1)本方法是将深度图分为于前景区和背景区，前景区包含用户的整个身体，背景区只包含剩下的环境。使用连通分量分析确定前景区域，当两个相邻深度像素的差异低于一个临界值时被认为是相邻的。假设前景区域是距离相机最短距离的最大部分；2)为了确定头部区域，我们的方法是寻找一条水平线将前景区域分为头部区域和躯干区域，这样便可得到头部区域：

$D_{\mathrm{\τ}(u,v)}^{\′}=\left\{\begin{array}{ccccc}{D}_{\mathrm{\τ}}(u,v)& \mathrm{iff}& M_{\mathrm{\τ}}(u,v)=1& \mathrm{and}& v\≤s\\ 0& & \mathrm{other}& \mathrm{wise}& \end{array}\right.---\left(1\right)$

(3)去噪：通过kinect获得的深度图通常是有噪声的，在头发区域尤其明显，这些噪声会影响我们进行图像配准,为了提高配准将运用基于Prewitt算子的分块自适应阈值边缘检测算法可得到比较精细的图像边缘；进而根据获取边缘信息对深度图进行分类，边缘区采用单向多级中值滤波算法进行降噪处理，而非边缘区采用双向多级中值滤波算法进行降噪处理。最终利用Kinect得到边缘清晰，噪声较小的高质量深度图：

$D_{\mathrm{\τ}(u,v)}^{\′\′}=\left\{\begin{array}{ccc}{D}_{\mathrm{\τ}}^{\′}(u,v)& \mathrm{iff}& \mathrm{\σ}{(u,v)}^2\≤{\mathrm{\σ}}_{\max }^2\\ 0& \mathrm{other}& \mathrm{wise}\end{array}\right.---\left(2\right)$

(4)反投影：为了对多幅深度图进行配准，首先讲深度图进行反投影形成一个三维点云，然后评估每一个顶点的表面法向量。通过反投影我们产生了一个顶点贴图V_τ：

V_τ(u,v)＝D″_τ(u,v)K^-1[u,v,-1]^T    (3)

每个顶点法向量可由相邻顶点的叉积进行评估：

N_τ(u,v)＝[V_τ(u+1,v)-V_τ(u,v)]×[V_τ(u,v+1)-V_τ(u,v)]    (4)

(5)配准：为了得到一个三维人脸模型，需要校准一些顶点贴图，对于每个顶点贴图,需要确定一个刚体变换矩阵 $T_{g,\mathrm{\τ}}=\left[\begin{array}{cc}{R}_{g,\mathrm{\τ}}& t_{g,\mathrm{\τ}}\\ 0& I\end{array}\right]$ 将顶点和法向量转换到一个全局坐标空间中去，为了计算用于配准三维点云的刚体变换矩阵，我们使用基于kd-tree加速的icp算法来求解；

(6)集成：在上述步骤都完成后，将处理后的多幅深度图进行集成便形成了一个三维人脸模型。一个立体空间被用于建立人脸模型，这个立体空间只有人头的大小。立体空间为521×512×512三维空间，每一个立体像素p包含一个权值w(p)和一个符号距离f(p)，符号距离只有在一个表面附近才准确，所以他们会被截断以阻止表面间的相互干扰。这样每个被分割的深度图像D″_τ(u,v)逐渐融合成立体模型；

其中 $f\left(p\right)\←\frac{w\left(p\right)f\left(p\right)+w_{\mathrm{\τ}}\left(p\right)f_{\mathrm{\τ}}\left(p\right)}{w\left(p\right)f\left(p\right)}---\left(5\right)$

w_τ(p)和f_τ(p)分别为增量权值和增量符号距离，为了确定w_τ(p)和f_τ(p)，立体像素p被映射到深度图中，而符号距离是通过从深度测量值中减去立体像素的深度值被计算的:

$S_p=D_{\mathrm{\τ}}^{\′\′}(u,v)-\frac{{\left|\right|{T_{g,\mathrm{\τ}}}^{-1}p\left|\right|}_2}{{\left|\right|K^{-1}{[u,v,1]}^T\left|\right|}_2}---\left(7\right)$

并得到 $f_{\mathrm{\τ}}\left(p\right)=\mathrm{sign}\left(S_p\right)\min (1,\frac{\left|S_p\right|}{u})---\left(8\right)$

(7)描绘：由于在配准时，可能会有多幅深度图在相同部位都会有空洞，尤其是在人头的边缘部分如头发耳朵及脸部边缘，这样在集成后形成的三维模型可能还是会有空洞，模型建的并不完整，所以我们在将多幅图进行集成前要对相同部位具有空洞的地方进行插值，这里我们使用三次卷积法进行插值。