CN108171790B - 一种基于字典学习的目标重建方法 - Google Patents

Abstract

本发明涉及一种基于字典学习的目标重建方法，首先，利用已有的稠密点云模型构造点云字典库；其次，构建目标的稀疏点云模型，并借助点云字典库对该稀疏点云模型进行扩张，得到完整稠密的三维模型。在扩张的过程中，以点云面片局部的曲率不变性为依据，构造特征，作为扩张的依据。最后，对上一步扩张得到模型进行表面重建，完成目标重建。本发明能够极大的降低计算时间，且对于图像纹理欠丰富或重复纹理区域目标的重建有很好的表现。

Description

一种基于字典学习的目标重建方法

技术领域

本发明涉及一种基于字典学习的目标重建方法，适用于结构简单但缺少纹理的目标，可有效解决此类目标重建结果中的孔洞与大面积缺失，提高重建模型的完整度。

背景技术

随着计算机图形学和逆向工程的发展，人们越来越关注如何获取物体高精度的三维模型，该技术称为三维重建技术。三维重建技术主要包含前期模型数据获取及预处理、点云数据的配准及融合、点云数据的表面重建等步骤，最终将真实物体转换为计算机能够显示的数字模型。

类似于人类的双眼能够感知空间物体的三维信息，三维重建模仿人眼的这种功能，通过计算机视觉得到物体的三维信息，主要过程是从二维图像对或图像序列中提取信息，利用特征点匹配及光束平差的方法计算出每幅图像的内外参数，再对相邻图像两两进行稠密匹配，得到一系列深度图，最后将深度图进行融合得到物体的三维点云模型。

传统的三维重建工作主要是对相邻视图进行立体匹配得到各视角下的深度图，然后利用估计得到的摄像机参数矩阵将所有深度图投影到三维空间中进行融合，得到物体的三维点云模型，最后将投影得到的点云模型用表面重建的方法进行三维表面拟合，得到目标物体的三维模型。传统三维重建算法中，深度图的计算是一项非常重要的工作。实验表明，在深度图计算时需要消耗大量的计算时间，且计算时间随图像分辨率及视差的增加而指数级增加。除此之外，对于图像纹理欠丰富、甚至无纹理区域的匹配也是深度图计算过程中非常棘手的问题，采用传统匹配方法通常会导致无法匹配或错匹配，反映到点云模型上则是出现噪声或孔洞，并造成重建结果完整度较低。

发明内容

本发明技术解决问题：克服现有技术的不足，针对目标无纹理区域表面重建出现的孔洞问题，提供一种基于字典学习的目标重建的方法，构建目标的稀疏点云模型，并利用稀疏点云模型的局部几何相似性，对其进行扩充，从而避免了在目标无纹理区域的稠密匹配，从根本上解决了传统方法造成的噪声、孔洞问题。

本发明技术解决方案：一种基于字典学习的目标重建的方法，实现步骤如下：

第一步，利用已有的稠密点云模型，构建点云字典库；

第二步，构建目标的稀疏点云模型，并利用第一步构建的点云字典库对所述稀疏点云模型进行扩张，得到完整稠密的三维模型；

第三步，对第二步扩充得到的三维模型进行表面重建，完成目标重建。

所述第一步中，利用已有的稠密点云模型，构建点云字典库，具体实施如下：

(1)分别对已有的稠密点云模型进行划分，得到若干点云面片；

(2)用划分得到的若干点云面片构造点云字典库，记为L。

所述第二步具体实现如下：

(1)通过找出相邻视图对、在相邻的视图间匹配特征、将相同特征融合、计算稀疏点云模型等步骤，从多视图图像序列构造得到目标的稀疏点云模型，记为M_s；

(2)对利用K-近邻的方法选取n个邻域点组成局部稀疏点云，记为Q(p)，从步骤(1)构造得到的L中选取与Q(p)特征最接近的点云面片，通过迭代最近点法，将该点云面片贴合到对应的局部稀疏点云，完成对稀疏点云的扩张，得到完整稠密的三维模型。

所述第二步中，需要构造点云面片的特征，作为稀疏点云模型的扩张的依据，点云面片特征构造的步骤如下：

(1)用于计算特征的点云面片为P＝{X₀,X₁,...,X_m-1}，其中X₀,X₁,...,X_m-1分别代表点云面片P中各点，m代表所P包含点的数目，它们的坐标分别记为(x₀,y₀,z₀)^T,(x₁,y₁,z₁)^T，...，(x_m-1,y_m-1,z_m-1)^T，构造方程组如式(1)所示，

其中，a,b,c,d,e,f是待拟合的常数；

(2)利用奇异值分解的方法，求解方程组(1)，得到a,b,c,d,e,f的参数值；

(3)利用步骤(2)中求解得到的参数值，分别计算P中各点处的其平均曲率H、高斯曲率K、第一主曲率k₁、第二主曲率k₂，其中，H、K、k₁、k₂的计算公式分别如式(2)～式(5)所示：

(4)计算各点高斯曲率的均值及方差var(K)、平均曲率均值及方差var(H)、第一主曲率均值及方差var(k₁)和第二主曲率的均值与方差var(k₂)，并构造点云面片的8维特征，记为V，如式(6)所示，

本发明与现有技术相比的有益效果在于：

(1)本发明依据稀疏模型的局部几何特性对其进行扩充，避免了在无纹理区的稠密匹配，从根本上解决了传统方法造成的噪声、孔洞问题。

(2)本发通过构造点云字典库，用于修补点云孔洞，从而避免了在无纹理区域进行稠密匹配，从根本上解决了传统方法造成的噪声、孔洞问题，并有效降低运算量。

(3)本发明能够极大的降低计算时间，且对于图像纹理欠丰富或重复纹理区域目标的重建有很好的表现。

附图说明

图1为本发明的总体流程；

图2为本发明中部分用于构建点云字典库的模型；

图3为本发明中部分点云字典库中的点云面片元素；

图4为本发明在DTU数据集上的实验结果，第一行是DTU数据集的部分视图样例，第二行对应的重建结果。

具体实施方式

下面结合附图及实施例对本发明进行详细说明。

如图1所示，本发明一种基于字典学习的目标重方法，具体步骤如下。

1.利用已有的稠密点云模型，构建点云字典库

点云面片库中的元素取自一些现有的三维点云模型。具体地，记某三维点云模型为M＝{X₀,X₁,...,X_t-1}，其中X_i为模型M包含的点，t为M所包含点的数目，将M划分为若干点云面片，记为P₀，P₁……P_l-1(l为划分得到的点云面片数目)，它们满足式(7)～(9)

P₀∪P₁∪…P_l-1＝M (7)

s_min≤|P_i|≤s_max (9)

式(7)和式(9)分别说明P₀，P₁……P_l-1可以覆盖整个M，且两两不想交。式(9)中|P_i|代表点云面片P_i的大小，即P_i中包含点的数目，s_min和s_max分别代表|P_i|的上限和下限。式(3)限制了点云面片的大小，本发明将s_min和s_max分别设定为30和100。将满足式(7)～(9)的划分定义为有效的划分。对所有的三维点云模型分别进行有效划分，得到许多点云面片，划分得到的点云面片构成了点云字典库，记为L。

2.构建目标的稀疏点云模型，并对稀疏点云模型扩张

2.1点云面片特征的计算

在对稀疏点云扩充的过程，会用到点云面片的特征。因此先单独介绍点云面片特征的构造与计算。本发明基于点云面片曲率的不变性，构造点云面片的特征，下面将详细说明的特征的计算过程。为方便叙述，用于计算特征的点云面片记为P＝{X₀,X₁,...,X_m-1}，其中，m代表所P包含点的数目，X₀,X₁,...,X_m-1分别代表点云面片P上的各点，它们的坐标分别记为(x₀,y0,z₀)^T,(x₁,y1,z₁)^T，...，(x_m-1,y_m-1,z_m-1)^T。

本发明基于的假设是点云面片上的各点位于某个二次曲面上，该曲面的方程可用式(10)表示：

F(x,y,z)＝0 (10)

在式(10)中，有：

F(x,y,z)＝ax+by+cx²+dxy+ey²+f (11)

其中，a,b,c,d,e,f是待拟合的常数，它们的取值范围都是(-∞,+∞)；基于上述假设，建立如下线性方程组：

式(12)所示为一个超定方程组，因此可以通过奇异值分解的方法，解出a,b,c,d,e,f。

得到a,b,c,d,e,f后，即可计算点云的局部曲率信息。对于P中的某一点，其平均曲率H、高斯曲率K、第一主曲率k₁、第二主曲率k₂分别可用式(13)～式(16)表示，

计算高斯曲率的均值及方差var(K)、平均曲率均值及方差var(H)、第一主曲率均值及方差var(k₁)和第二主曲率的均值与方差var(k₂)。这样即可构造出用来描述字典原子的8维特征V：

2.2稀疏点云的构造

本发明通过匹配不同视图中显著的特征，并采用视觉测距原理计算得到各匹配特征对应的三维点，构造得到稀疏点云，记为M_s。具体如下。

2.2.1找出相邻的视图对

相邻视图对即是可用来进行特征匹配的视图对。相邻的视图对既要有充足的重叠区域，也要有足够的基线，从而保证匹配的正确性与精度。记V_i与V_j为两幅输入视图，当且仅当V_i与V_j的基线d_ij和光轴夹角θ_ij满足式(18)所示条件时，V_i与V_j是相邻的。

在式(18)中，d_min和d_max分别为相邻视图对基线的下限和上限，其选取依赖场景的尺度，本发明中，d_min和d_max分别设定为和(为d_ij的平均值)；θ_min和θ_max分别相邻视图对光心夹角的下限和上限，在本发明中，θ_min和θ_max分别设定为0°和45°。将所有相邻的视图对组成的集合记为N。

2.2.2在相邻的视图间匹配特征

对分别提取V_i和V_j的SIFT和Harris特征，并在极线约束下，对特征进行匹配，得到若干匹配特征对。

2.2.3将相同的特征融合

采用广度优先的方法，将2.2.2中得到的匹配特征对融合为若干Tracks(Track定义为同一个特征点在不同视图中所对应特征的集合)。将包含特征数量小于3的Track剔除，从而提高后续计算得到的稀疏点的精度。

2.2.4计算稀疏点云模型

通过视觉测距原理，将所有的Track反投影回三维空间，得到若干三维点，将这些三维点组成的点云记为删除中重投影误差大于1像素的点和位于相机成像平面后的点，即得到稀疏点云模型，记为M_s。

2.3稀疏点云模型的扩张

下面介绍基于点云字典库的稀疏点云扩张。对利用K-近邻的方法选取n个邻域点组成局部稀疏点云，记为Q(p)。点云字典库中的点云面片元素记为P_i。局部稀疏点云Q(p)与字典原子P_i间的相似性度量函数S(P_i,Q(p))可以表示为，

其中，

W(P_i,Q(p))＝||V(P_i)-V(Q(p))||₂ (20)

在式(13)中，V(·)表示特征计算算子，即V(P_i)和V(Q(p))分别代表P_i和Q(p)的特征，||·||₂表示二范数算子。对整个字典库的原子进行相似性度量，若相似性最大的字典原子与局部稀疏点云的相似性小于给定的阈值T时，如公式(21)所示，

则认为局部稀疏点云块Q(p)不能在字典库中搜索合适的匹配原子，放弃对该点云块进行字典匹配。否则，最大相似度值所对应的字典原子即为匹配结果。在式(21)中，max(·)代表取最大值算子，T得选取范围为[200,500]。使用迭代最近点法，将各匹配得到的点云面片贴合到对应的局部稀疏点云，即完成了对稀疏点云的扩张，得到稠密点云模型。

3.对稠密点云进行表面重建

利用主成分分析法，求取稠密点云各点的法向，采用Possion表面重建方法实现对稠密点云的表面重建，从而完成目标重建。

图2展示了部分用于构造点云字典库的稠密点云模型。这些模型具有结构多样、噪声低、局部密度均匀等特点。图3展示了部分点云字典库中的元素。图4为本发明在DTU数据集上的实验结果。图4第一行为样例视图，从左到又分别为一个纹理分布不均匀且具有反光材质的佛像、一组结构简单且纹理均匀的砖块、一只结构复杂的猫头鹰。图4第2行为本发明实验结果，三个三维模型分别对应于图4第一行的三幅视图。可以看出本发明可以很好地对各种纹理分布和结构特性的目标进行重建，重建得到的模型具有真实、自然、噪声低、无孔洞等特点。

Claims (2)

1.一种基于字典学习的目标重建方法，其特征在于，包括以下步骤：

第一步，利用已有的稠密点云模型，构建点云字典库；

第二步，构建目标的稀疏点云模型，并利用第一步构建的点云字典库对所述稀疏点云模型进行扩张，得到完整稠密的三维模型；

第三步，对第二步扩张得到的三维模型进行表面重建，完成目标重建；

所述第一步中，利用已有的稠密点云模型，构建点云字典库，具体实施如下：

(11)分别对已有的稠密点云模型进行划分，得到若干点云面片；

(12)用划分得到的若干点云面片构造点云字典库，记为L；

所述第二步具体实现如下：

(21)通过找出相邻视图对、在相邻的视图间匹配特征、将相同特征融合、计算稀疏点云模型步骤，从多视图图像序列构造得到目标的稀疏点云模型，记为M_s；

(22)对利用K-近邻的方法选取n个邻域点组成局部稀疏点云，记为Q(p)，从步骤(12)构造得到的L中选取与Q(p)特征最接近的点云面片，通过迭代最近点法，将该点云面片贴合到对应的局部稀疏点云，完成对稀疏点云的扩张，得到完整稠密的三维模型。

2.根据权利要求1所述的基于字典学习的目标重建方法，其特征在于：所述步骤(12)中，需要构造点云面片的特征，作为稀疏点云模型的扩张的依据，点云面片特征构造的步骤如下：

(1)用于计算特征的点云面片为P＝{X₀,X₁,...,X_m-1}，其中X₀,X₁,...,X_m-1分别代表点云面片P中各点，m代表所P包含点的数目，它们的坐标分别记为(x₀,y₀,z₀)^T,(x₁,y₁,z₁)^T，...，(x_m-1,y_m-1,z_m-1)^T，构造方程组如式(1)所示，

其中，a,b,c,d,e,f是待拟合的常数；

(2)利用奇异值分解的方法，求解方程组(1)，得到a,b,c,d,e,f的参数值；

(3)利用步骤(2)中求解得到的参数值，分别计算P中各点处的平均曲率H、高斯曲率K、第一主曲率k₁、第二主曲率k₂，其中，H、K、k₁、k₂的计算公式分别如式(2)～式(5)所示：

(4)计算各点高斯曲率的均值及方差var(K)、平均曲率均值及方差var(H)、第一主曲率均值及方差var(k₁)和第二主曲率的均值与方差var(k₂)，并构造点云面片的8维特征，记为V，如式(6)所示，