CN112991504B - 一种改进的基于tof相机三维重建的补空洞方法 - Google Patents

Abstract

本发明公开了一种改进的基于TOF相机三维重建的补空洞方法，涉及三维成像领域，包括以下步骤:S1、首先对TOF相机进行标定，固定相机进行采集，TOF相机提供红外数据和深度数据，得到含有噪声的初始深度图；S2、利用最小化二次能量函数对得到的初始深度图进行滤波、去噪、补空洞处理，从深度数据和红外数据之间的强相关性出发，定义滤波项和重建项的组合为能量函数，并将其最小化来恢复深度数据；S3、将处理后的深度图转换为点云图；S4、对得到的点云图进行去噪、补空洞处理。本发明的一种改进的基于TOF相机三维重建的补空洞方法，可以提高深度图和点云图的质量，改善三维重建物体的效果。

Description

一种改进的基于TOF相机三维重建的补空洞方法

技术领域

本发明涉及三维成像领域，尤其涉及一种改进的基于TOF相机三维重建的补空洞方法。

背景技术

在计算机视觉中，三维重建是指根据单视图或者多视图的图像重建三维信息的过程。三维重建技术在三维人脸识别、虚拟现实、三维建模、电影动画的制作等方面有广泛的应用。主要的三维重建技术有基于结构光的三维重建、基于光度立体技术的三维重建以及基于双目视觉的三维重建，但是TOF相机直接获得的深度图数据无组织的、无序的和有噪声的，含有空白空洞区域，传统补空洞算法具有局限性，有噪声深度图，滤波后有伪影，边缘变得模糊，有噪声点云图，修补效果不理想，过渡生硬。

发明内容

为解决上述技术问题，本发明提供一种改进的基于TOF相机三维重建的补空洞方法，目的是提高深度图和点云图的质量，改善三维重建物体的效果。

本发明采用如下技术方案：

一种改进的基于TOF相机三维重建的补空洞方法，其特征在于，包括以下步骤：

S1、首先对TOF相机进行标定，固定相机进行采集，TOF相机提供红外数据和深度数据，得到含有噪声的初始深度图；

S2、利用最小化二次能量函数对得到的初始深度图进行滤波、去噪、补空洞处理，从深度数据和红外数据之间的强相关性出发，定义滤波项和重建项的组合为能量函数，并将其最小化来恢复深度数据；

S3、将处理后的深度图转换为点云图；

S4、对得到的点云图进行去噪、补空洞处理。

进一步的，所述步骤S2中滤波项的算法过程为：

为了去除高斯白噪声，通过最小化加权误差平方和得到加权平均滤波器：

其中，

表示像素x_i处的期望深度值，D(x_j)表示观察到的深度值，w(x_i，x_j)表示权重，并且N_i是x_i的集合相邻像素，求解得到：

为了去除ToF深度数据中的噪声，将有效深度像素的多边过滤器权重定义为：

w(x_i，x_j)＝K_S(||x_i-x_j||)·(K_D(||D(x_i)-D(x_j)||)+ε)·(K_R(||R(x_i)-R(x_i)||)+ε)

其中，K_S、K_D和K_R分别是空间权重、深度权重和红外权重的高斯核，Sigma值分别为h_S、h_D和h_R，引入的一个较小的ε值，它可以增强滤波脉冲噪声，如果中心像素具有无效的深度值，则将过滤器权重定义为：

w(x_i，x_j)＝K_S(||x_i-x_j||)·(K_R(||R(x_i)-R(x_j)||)+ε)

通过聚合所有像素并以二次矩阵的形式表示，将滤波项定义为：

其中，W是N×N多边权重矩阵，每个行值的总和归一化为1，D是深度值的N×1向量，其中N是深度图像中的像素数。

进一步的，所述步骤S2中重建项的算法过程为：

采用一种结构引导的深度重建方法，具有Dirichlet边界条件的泊松方程为：

其中G_x和G_y分别是引导向量场的x和y分量，采用了上述方程的离散化形式的解用于重建项，给定深度梯度作为引导向量场，可以通过求解基于4个相邻像素的离散化形式来获得深度值：

通过将非孔像素处的深度值移到右侧在上式中加入边界条件，如果所有像素都在非空洞区域中，则重建项的作用类似于典型的数据项，通过聚合所有像素，方程式可以写成：

其中L表示N×N拉普拉斯矩阵，G表示深度梯度的散度的N×1向量，因此将二次矩阵形式的重构项定义为：

使用移动最小二乘(MLS)插值方法来获得孔洞区域内像素的梯度，MLS通过最小化每个像素的加权最小二乘来求解：

p和p_i分别表示目标像素和相邻像素的数据矢量，并且f_i是测量的深度梯度D_x(x，y)或D_y(x，y)，θ(p；p_i)是与p_i相关联的权重，并且p是通过使用对空洞区域附近的非空洞像素的k最近邻搜索而获得的像素索引集合，引入红外数据作为额外的结构信息，以防止不必要的内绘深度梯度平滑。

使用

中的二次多项式函数f(p)作为近似函数：

f(x，y，r)＝c₀+c₁x+c₂y+c₃r+c₄x²+c₅xy+c₆y²+c₇xr+c₈yr+c₉r²

其中x和y是像素坐标，r是红外数据的梯度，为R_x(x，y)或Ry(x，y)，多项式函数可以写成：

f(p_i)＝b(p_i)^Tc(p)

其中b(P)＝[1，x，y，r，x²，xy，y²，xr，r，r²]^T是多项式基向量，c(P)＝[c₀，...，c₉]^T是系数向量，将双边加权函数定义为：

求解系数得到：

c(p)＝(BΘ(p)B^T)^-1BΘ(p)f

其中，B＝[b(p₁)，...，b(p_k)]，Θ(p)＝[θ(p；p₁)，...，θ(p；p_k)]，f＝[f₁，...，f_K]，K为Π中的像素数。

进一步的，所述步骤2中最小化的算法过程为：

提出的二次能量函数可以写为：

当

时，能量函数得到最小化。

进一步的，所述步骤3的具体过程为，利用相机的内参将深度图投影变换

成相机空间坐标的3D点云：

其中：(u，v)是点在深度图中的坐标，d是该点对应的深度值，f_x，f_y，c_x，c_y是相机的内部参数，(x，y，z)是(u，v)对应的点云的空间坐标。

进一步的，所述步骤S4中具体的过程为：

1)首先对得到的点云图进行预处理，去除孤立点、均质化原始点、组织无序点和校正点法线；

2)对孔洞的边缘进行检测；

3)对点云中检测到的孔洞进行填充，并进行拓扑重建。

进一步的，其中步骤2中检测的具体方法为，采用基于网格的孔洞边缘检测方法。

进一步的，所述方法具体为，输入由顶点集和三角形集组成的网格，一条边由两个三角形共享。

进一步的，所述两个三角形称为边的相邻三角形，边界边被定义为仅与单个三角形相邻的边，因此，边界边环即为闭孔边界，一旦找到边界，就可以通过跟踪其相邻边在输入网格中自动提取该边界。

进一步的，采用一种改进的MeshFix算法，其流程为：

定义输入的点云集合为F

定义单个的组合流形M

a.将点云集合F中的所有面进行三角化；

b.使用得到的三角形集合初始化M；

c.计算三角形与三角形之间的连接关系；

d.删除奇点；

e.通过学习各面表面法线的曲率和方向的变化，确定除最大组件外的其他组件是否应该删除；

f.调整网格方向；

g.如果需要切割，则

h.警告用户并终止；

i.否则

j.使用新的三角形进行孔洞修补。

本发明具有以下有益效果：本发明的改进的基于TOF相机三维重建的补空洞方法，通过该改进的算法，对原始的点云进行了滤波、去噪与修补空洞处理，可修补孤岛、狭缝等复杂的孔洞，没有引入纹理复制和模糊伪影，最后输出了较好地保持了模型的原始拓扑和纹理的三维模型。

附图说明

下面结合附图对本发明作优选的说明：

图1为本发明的流程图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，一种改进的基于TOF相机三维重建的补空洞方法，目的是提高深度图和点云图的质量，改善三维重建物体的效果。

本发明采取的技术方案主要包括以下步骤：

(一)、利用最小化二次能量函数对滤波、去噪后的深度图进行补空洞处理，解决深度图的噪声孔洞问题，改善深度图的质量；

(二)利用基于网格的曲面补空洞填补方法，对由深度图转换得到的点云图进行补空洞处理，改善点云图的质量；

步骤：

1、首先对TOF相机进行标定，固定相机进行采集，TOF深度可以通过测量发射和接收的红外光之间的相位延迟来测量光的传播时间来获得。ToF深度相机提供红外数据和深度数据，得到含有噪声的初始深度图。

2、利用最小化二次能量函数对得到的初始深度图进行滤波、去噪、补空洞处理。本算法从深度数据和红外数据之间的强相关性出发，定义滤波项和重建项的组合为能量函数，并将其最小化来恢复深度数据。

E＝E_F+λE_H

1)滤波项

为了去除高斯白噪声，通过最小化加权误差平方和得到加权平均滤波器：

其中，

表示像素x_i处的期望深度值，D(x_j)表示观察到的深度值，w(x_i，x_j)表示权重，并且N_i是x_i的集合相邻像素。求解得到：

为了去除ToF深度数据中的噪声，将有效深度像素的多边过滤器权重定义为：

w(x_i，x_j)＝K_S(||x_i-x_j||)·(K_D(||D(x_i)-D(x_j)||)+ε)·(K_R(||R(x_i)-R(x_j)||)+ε)

其中，K_S、K_D和K_R分别是空间权重、深度权重和红外权重的高斯核，Sigma值分别为h_S、h_D和h_R。引入的一个较小的ε值，它可以增强滤波脉冲噪声。如果中心像素具有无效的深度值，则将过滤器权重定义为：

w(x_i，x_j)＝K_S(||x_i-x_i||)·(K_R(||R(x_i)-R(x_j)||)+ε)

通过聚合所有像素并以二次矩阵的形式表示，将滤波项定义为：

其中，W是N×N多边权重矩阵，每个行值的总和归一化为1，D是深度值的N×1向量，其中N是深度图像中的像素数。

2)重建项

采用一种结构引导的深度重建方法，由文献可得，具有Dirichlet边界条件的泊松方程为：

其中G_x和G_y分别是引导向量场的x和y分量。采用了上述方程的离散化形式的解用于重建项。给定深度梯度作为引导向量场，可以通过求解基于4个相邻像素的离散化形式来获得深度值：

通过将非孔像素处的深度值移到右侧在上式中加入边界条件。如果所有像素都在非空洞区域中，则重建项的作用类似于典型的数据项。通过聚合所有像素，方程式可以写成：

其中L表示N×N拉普拉斯矩阵，G表示深度梯度的散度的N×1向量。因此将二次矩阵形式的重构项定义为：

使用移动最小二乘(MLS)插值方法来获得孔洞区域内像素的梯度。MLS通过最小化每个像素的加权最小二乘来求解：

这里，p和p_i分别表示目标像素和相邻像素的数据矢量，并且f_i是测量的深度梯度D_x(x，y)或D_y(x，y)。θ(p；p_i)是与p_i相关联的权重，并且p是通过使用对空洞区域附近的非空洞像素的k最近邻搜索而获得的像素索引集合。引入红外数据作为额外的结构信息，以防止不必要的内绘深度梯度平滑。

使用

中的二次多项式函数f(p)作为近似函数：

f(x，y，r)＝c₀+c₁x+c₂y+c₃r+c₄x²+c₅xy+c₆y²+c₇xr+c₈yr+c₉r²

其中x和y是像素坐标，r是红外数据的梯度，为R_x(x，y)或Ry(x，y)。多项式函数可以写成：

f(p_i)＝b(p_i)^Tc(p)

其中b(P)＝[1，x，y，r，x²，xy，y²，xr，r，r²]^T是多项式基向量，c(P)＝[c₀，...，c₉]^T是系数向量。将双边加权函数定义为：

求解系数得到：

c(p)＝(BΘ(p)B^T)^-1BΘ(p)f

其中，B＝[b(p₁)，...，b(p_k)]，Θ(p)＝[θ(p；p₁)，...，θ(p；p_k)]，f＝[f₁，...，f_K]。K为Π中的像素数。

3)最优化

提出的二次能量函数可以写为：

当

时，能量函数得到最小化。因此求解下面的稀疏线性系统可得到去噪、滤波、补空洞后的深度图像D。

3、将处理后的深度图转换为点云图。利用相机的内参将深度图投影变换成相机空间坐标的3D点云：

其中：(u，v)是点在深度图中的坐标，d是该点对应的深度值，f_x，f_y，c_x，c_y是相机的内部参数，(x，y，z)是(u，v)对应的点云的空间坐标。

4、对得到的点云图进行去噪、补空洞处理。

1)首先对得到的点云图进行预处理，去除孤立点、均质化原始点、组织无序点和校正点法线，为后续的工作创造基础。

2)对孔洞的边缘进行检测。采用基于网格的孔洞边缘检测方法，输入由顶点集和三角形集组成的网格，通常，一条边由两个三角形共享，这两个三角形称为边的相邻三角形。边界边被定义为仅与单个三角形相邻的边。因此，边界边环即为闭孔边界，一旦找到边界，就可以通过跟踪其相邻边在输入网格中自动提取该边界。

3)对点云中检测到的孔洞进行填充，并进行拓扑重建。采用一种改进的MeshFix算法，增加了一个学习连通部件之间关系的步骤，其流程大致为：

定义输入的点云集合为F

定义单个的组合流形M

a.将点云集合F中的所有面进行三角化；

b.使用得到的三角形集合初始化M；

c.计算三角形与三角形之间的连接关系；

d.删除奇点；

e.通过学习各面表面法线的曲率和方向的变化，确定除最大组件外的其他组件是否应该删除；

f.调整网格方向；

g.如果需要切割，则

h.警告用户并终止；

i.否则

j.使用新的三角形进行孔洞修补。

通过该改进的算法，对原始的点云进行了滤波、去噪与修补空洞处理，可修补孤岛、狭缝等复杂的孔洞，没有引入纹理复制和模糊伪影，最后输出了较好地保持了模型的原始拓扑和纹理的三维模型。

以上仅为本发明的具体实施例，但本发明的技术特征并不局限于此。任何以本发明为基础，为解决基本相同的技术问题，实现基本相同的技术效果，所作出的简单变化、等同替换或者修饰等，皆涵盖于本发明的保护范围之中。

Claims (7)

1.一种改进的基于TOF相机三维重建的补空洞方法，其特征在于，包括以下步骤:

S1、首先对TOF相机进行标定，固定相机进行采集，TOF相机提供红外数据和深度数据，得到含有噪声的初始深度图；

S2、利用最小化二次能量函数对得到的初始深度图进行滤波、去噪、补空洞处理，从深度数据和红外数据之间的强相关性出发，定义滤波项和重建项的组合为能量函数，并将其最小化来恢复深度数据；

S3、将处理后的深度图转换为点云图；

S4、对得到的点云图进行去噪、补空洞处理；

所述步骤S2中滤波项的算法过程为:

为了去除高斯白噪声，通过最小化加权误差平方和得到加权平均滤波器：

其中，

表示像素x_i处的期望深度值，D(x_j)表示观察到的深度值，w(x_i，x_j)表示权重，并且N_i是x_i的集合相邻像素，求解得到：

为了去除ToF深度数据中的噪声，将有效深度像素的多边过滤器权重定义为：

w(x_i，x_j)＝K_S(||x_i-x_j||)·(K_D(||D(x_i)-D(x_j)||)+ε)·(K_R(||R(x_i)-R(x_j)||)+ε

其中，K_S、K_D和K_R分别是空间权重、深度权重和红外权重的高斯核，Sigma值分别为h_S、h_D和h_R，引入的一个较小的ε值，它可以增强滤波脉冲噪声，如果中心像素具有无效的深度值，则将过滤器权重定义为：

w(x_i，x_j)＝K_S(||x_i-x_j||)·(K_R(||R(x_i)-R(x_j)||)+ε)

通过聚合所有像素并以二次矩阵的形式表示，将滤波项定义为：

其中，W是N×N多边权重矩阵，每个行值的总和归一化为1，D是深度值的N×1向量，其中N是深度图像中的像素数；

所述步骤S2中重建项的算法过程为：

采用一种结构引导的深度重建方法，具有Dirichlet边界条件的泊松方程为：

其中G_x和G_y分别是引导向量场的x和y分量，采用了上述方程的离散化形式的解用于重建项，给定深度梯度作为引导向量场，可以通过求解基于4个相邻像素的离散化形式来获得深度值：

通过将非孔像素处的深度值移到右侧在上式中加入边界条件，如果所有像素都在非空洞区域中，则重建项的作用类似于典型的数据项，通过聚合所有像素，方程式可以写成：

其中L表示N×N拉普拉斯矩阵，G表示深度梯度的散度的N×1向量，因此将二次矩阵形式的重构项定义为：

使用移动最小二乘(MLS)插值方法来获得孔洞区域内像素的梯度，MLS通过最小化每个像素的加权最小二乘来求解：

p和p_i分别表示目标像素和相邻像素的数据矢量，并且f_i是测量的深度梯度D_x(x，y)或D_y(x，y)，θ(p；p_i)是与p_i相关联的权重，并且p是通过使用对空洞区域附近的非空洞像素的k最近邻搜索而获得的像素索引集合，引入红外数据作为额外的结构信息，以防止不必要的内绘深度梯度平滑；

使用

中的二次多项式函数f(p)作为近似函数：

f(x，y，r)＝c₀+c₁x+c₂y+c₃r+c₄x²+c₅xy+c₆y²+c₇xr+c₈yr+c₉r²

其中x和y是像素坐标，r是红外数据的梯度，为R_x(x，y)或R_y(x，y)，多项式函数可以写成：

f(p_i)＝b(p_i)^Tc(p)

其中b(P)＝[1，x，y，r，x²，xy，y²，xr，r，r²]^T是多项式基向量，c(P)＝[c₀，...，c₉]^T是系数向量，将双边加权函数定义为：

求解系数得到：

c(p)＝(BΘ(p)B^T)^-1BΘ(p)f

其中，B＝[b(p₁)，...，b(p_k)]，Θ(p)＝[θ(p；p₁)，...，θ(p；p_k)]，f＝[f₁，...，f_K]，K为Π中的像素数；

所述步骤2中最小化的算法过程为：

提出的二次能量函数可以写为：

当

时，能量函数得到最小化。

2.根据权利要求1所述的改进的基于TOF相机三维重建的补空洞方法，其特征在于，所述步骤3的具体过程为，利用相机的内参将深度图投影变换成相机空间坐标的3D点云：

其中：(u，v)是点在深度图中的坐标，d是该点对应的深度值，f_x，f_y，c_x，c_y是相机的内部参数，(x，y，z)是(u，v)对应的点云的空间坐标。

3.根据权利要求1所述的一种改进的基于TOF相机三维重建的补空洞方法，其特征在于，所述步骤S4中具体的过程为:

1)首先对得到的点云图进行预处理，去除孤立点、均质化原始点、组织无序点和校正点法线；

2)对孔洞的边缘进行检测；

3)对点云中检测到的孔洞进行填充，并进行拓扑重建。

4.根据权利要求3所述的一种改进的基于TOF相机三维重建的补空洞方法，其特征在于，其中步骤2中检测的具体方法为，采用基于网格的孔洞边缘检测方法。

5.根据权利要求4所述的一种改进的基于TOF相机三维重建的补空洞方法，其特征在于，所述方法具体为，输入由顶点集和三角形集组成的网格，一条边由两个三角形共享。

6.根据权利要求5所述的一种改进的基于TOF相机三维重建的补空洞方法，其特征在于，所述两个三角形称为边的相邻三角形，边界边被定义为仅与单个三角形相邻的边，因此，边界边环即为闭孔边界，一旦找到边界，就可以通过跟踪其相邻边在输入网格中自动提取该边界。

7.根据权利要求3所述的一种改进的基于TOF相机三维重建的补空洞方法，其特征在于，采用一种改进的MeshFix算法，其流程为：

定义输入的点云集合为F

定义单个的组合流形M

a.将点云集合F中的所有面进行三角化；

b.使用得到的三角形集合初始化M；

c.计算三角形与三角形之间的连接关系；

d.删除奇点；

e.通过学习各面表面法线的曲率和方向的变化，确定除最大组件外的其他组件是否应该删除；

f.调整网格方向；

g.如果需要切割，则

h.警告用户并终止；

i.否则

j.使用新的三角形进行孔洞修补。

Images