CN107680168A - 三维重建中基于平面拟合的网格简化方法 - Google Patents

Abstract

本发明公开了一种三维重建中基于平面拟合的网格简化方法。本发明首先对点云进行点平面提取及平面聚类，获取分离平面及细节部分点云；然后对分离平面进行平面边缘提取、边缘降采样、平面内部去与降采样、平面边缘与内部组合并三角化和三角化平面组合，得到分离平面的三角化拼接结果；以及对细节部分点云进行三角化处理得到细节的三角化处理结果；最后，组合细节的三角化处理结果与分离平面的三角化拼接结果，得到网格简化结果。本发明可大大降低点云网格数据的存储空间，更利于三维数据的实时传输和处理；且在点云测量中不会引入误差；同时由于点数量和面片数量的降低，降低了对点云表面显示的软硬件要求，可更加流畅快速的进行显示。

Description

三维重建中基于平面拟合的网格简化方法

技术领域

本发明属于计算机图形学和计算机视觉技术领域，具体涉及一种三维重建技术。

背景技术

随着三维扫描技术以及三维重建等技术的发展，人们获取的三维数据也越来越多，并广泛应用于虚拟现实、逆向工程、机器人、三维物体检测识别等多领域。随着获取存储处理的三维数据不断增多，三维数据的表示成为研究的热点话题。三维数据常用语表示物体的形状信息或用于工业测量领域，由于对测量精度的要求，很多设备的分辨率已经达到毫米级以下，这就导致获取的物体的三维点云数据量非常庞大，而对于表达一个物体的形状或在测量误差允许范围内，很多点云数据中存在着大量的冗余信息。在三维物体表示中，常用三角网格来描述物体表面。随着重建精度越来越高，三角网格的复杂度也越来越高。传统的Delaunay三角化算法并不适用于海量的三维点云表面重建。在表面重建之前需要去除部分不损失模型形状信息的点，以降低点云数量从而较大程度上的简化网格，减少面片数量。这对点云数据的存储、传输以及处理都有着非常重要的意义。

发明内容

本发明的发明目的在于：为了满足精确测量的同时也满足存储、传输和处理的需求，提出一种三维重建中基于平面拟合的网格简化方法，以最大程度的降低冗余信息，且最大程度的保留细节信息。

本发明的三维重建中基于平面拟合的网格简化方法，包括系列步骤：

步骤1：对点云进行点平面提取及平面聚类，获取分离平面及细节部分点云：

步骤101：点云平面提取：

用P＝{p₁,p₂,…,p_n}表示原始点云，其中p_i＝{x_i,y_i,z_i}表示三维点的坐标，n为原始点数；

对原始点云P进行点平面提取，将点数最多的点平面的平面内点集合记为P_plane。

例如利用基于RANSAC(Random Sample Consensus)算法的平面拟合方法提取点平面：设置容差为δ，若点到平面距离d小于容差δ，则认为该点属于平面内点，否则认为该点为外点。经过多次迭代并令内点距离总和最小化，则可得到最终拟合的平面方程及其平面内点集合，将点数最多的平面内点集合记为P_plane。

步骤102：平面聚类，点云分割：

步骤101得到的点云(平面内点集合P_plane)具有的特点是位于同一平面方程内或在容差范围内，而实际点云中可能存在不同的平面位于平面内的不同位置，这种空间位置关系表现为位于同一平面方程内，但不同位置的平面是相互独立且有确定的边缘信息，可相互分开。在实现点云三角化过程中，为了避免不同平面之间的连接需要首先进行平面分割，将不同的平面分别进行分开。然后对分开的独立整块平面进行三角化。

为了对不同平面进行分割，采用的是欧式距离聚类方法，通过聚类可将属于同一平面方程的点云分割成不同的平面：P_plane＝{P_{plane_1},P_{plane_2},…,P_{plane_m},P_{remnan_t}}

通过聚类得到m个分离平面，同时设定聚类最小点数阈值N_δ，若聚类平面点数小于N_δ则放弃该聚类平面，将这部分点云归类为P_remnant。

步骤103：原始点云中去除平面点云：

通过步骤1与2，可得到同一平面内的不同平面分割结果，由于点云中往往存在多个平面，因此需要将原始的点云剔除平面信息再次重复上述步骤得到其他平面信息，因此更新点云为：P∶＝P-P_plane+P_{remnan_t}，其中∶＝表示点云的更新，-表示剔除点云，+表示添加点云。即将步骤101和102中提取的平面信息剔除，为了避免细节信息的丢失需要将残余点云保留。

将更新的点云P继续重复迭代步骤101和102，直到提取的平面点数达到点数阈值Np_δ，即步骤101提取的平面P_plane点数小于Np_δ，则停止迭代。

在达到停止迭代条件的时，点云P更新为没有平面信息的点云，即将迭代停止后得到的点云P作为细节部分点云。

步骤2：对所有分离平面进行三角化平面拼接处理：

步骤201：平面边缘提取：

网格简化的首要任务是降低点的数量，而降低点数量的基本原则是尽可能的保留原始形状信息且尽可能的删除冗余点。如果策略不合理，很容易将原始点云中的描述细节或者边缘的信息剔除掉，这样的简化会对点云数据造成一定的损失，为了避免细节部分的损失，本发明提出了边缘提取的方案实现最大程度的平面点删除方法：

对各分离平面分别进行边缘提取，得到每个分离平面的边缘信息：

P_boundary＝{P_{boundary_1},P_{boundary_2},…,P_{boundary_M}}

其中，P_{boundary_m}表示第m个分离平面P_{plane_m}的边缘信息，m＝1,2,…,M，M表示步骤3后得到的分离平面数。

步骤202：边缘降采样：

为了去除冗余信息，需要将提取的平面信息进行冗余点剔除，主要分为两步，包括边缘点的降采样和平面内部点的降采样。

由于边缘信息是原始点云中的边缘信息，因此边缘点的分辨率较高，较为稠密，在误差允许的范围内可适当降低边缘点的数量，其降采样方法为设定降采样的半径R_Downsample，搜索(例如kd(k-dimensional)树搜索算法)当前边缘点半径以内的所有近邻边缘点，并将半径内部点标识为冗余边缘点，若某边缘点标识为冗余边缘点，则不再对该边缘点进行搜索，通过遍历所有边缘点完成冗余边缘点的标记，最后保留所有非冗余边缘点作为降采样后的边缘信息，表示为：P_boundarydown＝{P_{bd_1},P_{bd_2},…,P_{bd_M}}，其中P_{bd_m}表示第m个分离平面P_{plane_m}的降采样后的边缘信息，m＝1,2,…,M。

步骤203：平面内部提取与降采样：

对于平面内部点可进行大幅度的冗余去除，其去冗余的原则是保留最少的点以至于可以实现平面点云的三角化。为了对平面内部进行降采样而不影响边缘信息，需要将平面内部从平面中提取出来，可表示为：

P_inside＝{P_{plane_1}-P_{boundary_1},P_{plane_2}-P_{boundary_2},…,P_{plane_M}-P_{boundary_M}}

对于平面内部点则通过基于体素中心的降采样方法，首先建立平面三维空间的包围盒，然后对三维空间进行体素(边长为r的立方体)划分，然后对体素内的点进行中心求解：则中心点坐标表示为其中x_i、y_i、z_i分别对应平面内部点坐标，由于求解的中心点坐标可能不是真实点，为了不失真实性与准确性，本发明采用了搜索中心点最近邻点作为该中心点的替代点，利用所有替代点作为平面内部降采样后的点。表示为：P_insidedown＝{P_{id_1},P_{id_2},…,P_{id_M}}，其中P_{id_m}表示第m个分离平面P_{plane_m}的中心点的替代点，m＝1,2,…,M。

步骤204：平面边缘与内部降采样点组合并三角化。

为了实现平面表面重建，需要对降采样后的平面点云进行三角化。

首先将得到的降采样后的边缘与内部点进行组合：P_planedown＝{P_bd1+P_id1,P_bd2+P_id2,…,P_bdm+P_idm}。

然后，对降采样后的平面进行三角化，得到三角化结果Pl_tri＝{Pl_{tri_1},Pl_{tri_2},…,Pl_{tri_M}}。

例如采用基于Delaunay算法的三角化方法，处理时需要设置三角化半径R_{triangulation}，为了满足三角化条件同时避免过多的三角平面生成，限定r＜R_{triangulation}＜2r，其中r代表上述的平面降采样体素边长。

步骤205：对所有分离平面的三角化结果Pl_{tri_m}进行三角化平面组合：

即将M个三角化结果Pl_{tri_m}逐个拼接到一起，得到三角化平面组合结果Plane_tri。

由于点云三角化的结果表示为三维点坐标与面片的组合，其中一个点坐标由[x,y,z]表示，多个点则组成列表。面片信息则表示为[q,index1,index2,index3]。其中“q”表示面片连接点数，由于本发明中采用的是三角化方法，因此面片连接点数q该均为3；“index1”、“index2”、“index3”则表示三角形面片三个顶点的下标，对应上述多点坐标列表的下标。多组平面三角化结果的拼接需要更新点列表与面片中下标的值。

例如有三组三角化结果：Pl_{tri_1}、Pl_{tri_2}和Pl_{tri_3}，各自的顶点数分别为：N₁、N₂和N₃；

因为要进行逐个拼接，通常可考虑将Pl_{tri_2}拼接到Pl_{tri_1}，然后再拼接Pl_{tri_3}的拼接顺序，即首先将Pl_tri2中的点坐标列表拼接到Pl_tri1的尾部，得到当前坐标列表拼接结果；然后更新Pl_tri2面片信息中的下标为[3,index1+N₁,index2+N₁,index3+N₁]，并将更新后的Pl_tri2面片信息拼接到Pl_tri1面片信息的尾部，得到当前面片信息拼接结果。

接着，将Pl_{tri_3}中的点坐标拼接到当前坐标列表拼接结果的尾部，更新Pl_tri3面片信息中的下标为[3,index1+N1+N2,index2+N1+N2,index3+N1+N2]，并将其拼接到当前面片信息拼接结果的尾部。

步骤3：细节部分点云的三角化：

对细节部分点云进行三角化处理时，由于细节部分点云分辨率较高，点较稠密，需要根据分辨率合理选择三角化半径，以避免由于三角化半径过大导致面片数量过多且冗余，或三角化半径过小导致无法实现三角化，若分辨率大小表示为re，则三角化半径R_{triangulation}应满足：re＜R_{triangulation}＜2re，基于该半径对细节部分点云(当前点云P)进行三角化，得到细节部分三角化结果Detail_tri。

步骤4：细节与平面三角化结果组合：

为了实现最终结果的输出，需要将细节部分三角化结果Detail_tri拼接到三角化平面组合结果Plane_tri，得到网格简化结果。

其中，拼接Detail_tri和Plane_tri时，同样涉及到点坐标和面片信息的拼接。

综上所述，由于采用了上述技术方案，本发明的有益效果是：本发明方法对有较多平面信息且对分辨率有较高要求的三维网格表面重建是非常高效且稳定的。相比于其他网格简化算法，该方法在避免细节信息的损失的同时，也最大程度的简化冗余网格。可实现海量点云数据的三角化、显示、存储、传输及处理等。

附图说明

图1整体流程图

图2本发明与现有的网格化的处理结果对比图，其中图2-a为通过3D扫描仪得到的原始点云具有37110点，图2-b为对现有的对图2-a的网格化处理结果；图2-c为本发明对图2-a的网格简化处理结果。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本发明作进一步地详细描述。

本发明的三维重建中基于平面拟合的网格简化方法主要针对于海量点云三维模型中，有较多平面区域且对细节部分分辨率要求高的情况下的点云表面重建。在很多工业需求中为了实现三维模型的精准测量同时进行三维显示，通过三维扫描仪等高分辨率设备获得稠密的高分辨率三维点云数据，该数据具有的特点是有序排列且稠密，并且精度高。高分辨率的海量点云足以满足精确测量的基本要求，但三维模型的存储、传输与处理却成为了较大的难题。例如大量的点云数据现有的硬件设备很难直接对其进行网格三角化并显示。这对内存的要求是非常高的。为了满足精确测量的同时也满足存储、传输和处理的需求，需要对该点云数据进行网格简化。简化的基本原则是最大程度的降低冗余信息，且最大程度的保留细节信息。由于在很多工件等三维模型中，细节部分都体现在非平面区域，且很多工件有较多的平面区域，该特点对网格简化有着非常重要的意义，由于平面区域的点具有相同的水平高度，因此在三维测量中，只需要记录点云中平面区域的轮廓和水平高度就可以实现三维测量平面，由于本发明还针对于三维显示，因而采用的方案是在满足Delaunay三角化的同时用极少的点表示平面。

参见图1，采用本发明的简化方法对原始点云具有37110点的原始点云数据进行平面拟合的网格简化处理，具体实施步骤如下为：

S1：输入原始点云P；

S2：对点云P进行点平面提取，将点数最多的平面的平面内点集合记为P_plane；

S3：判断P_plane的点数是否小于点数阈值Np_δ，若是，则执行步骤S6；否则执行步骤S4：

S4：对P_plane进行平面聚类处理，得到多个聚类平面，并将点数大于或等于点数阈值N_δ的聚类平面保存为分离平面；

S5：从点云P中剔除所有分离平面对应的点，得到更新后的点云P，并继续执行步骤S2；

S6：用M表示分离平面数，则迭代分离处理后，得到M个分离平面P_{plane_m}，m＝1,2,…,M；

并将当前点云P作为细节部分点云；

S7：对所有分离平面进行三角化平面组合处理，得到处理结果Plane_tri。三角化平面组合处理包括：平面边缘提取、边缘点降采样、平面内部信息提取与降采样、平面边缘与内部组合并三角化和三角化平面组合；

S8：对细节部分点云进行三角化处理，得到三角化结果Detail_tri

S9：组合Plane_tri与Detail_tri，得到网格简化的输出结果，如图2-c所示。

图2-a是通过3D扫描仪得到的原始点云，其具有37110点，对该原始点云进行三角化得到727064个面片，如图2中-b所示。通过本发明的方法可去除大部分的冗余点，图2-b和2-c是本发明的一组对比实验，通过点云简化，可将数据降低到14051点，20552个面片。由于采用了多分辨率三角化，网格中面片数量降低了一个数量级，且对形状尺寸表征并未造成损失。通过图2-b和图2-c的对比分析，本发明可大大降低点云网格数据的存储空间，更利于三维数据的实时传输和处理；且在点云测量中不会引入误差；同时由于点数量和面片数量的降低，降低了对点云表面显示的软硬件要求，可更加流畅快速的进行显示。

以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (4)

1.三维重建中基于平面拟合的网格简化方法，其特征在于，包括下列步骤：

步骤1：对点云进行点平面提取及平面聚类，获取分离平面及细节部分点云：

步骤101：对点云P进行点平面提取，将点数最多的点平面的平面内点集合记为P_plane，其中点云P的初始值为待处理的原始点云；

步骤102：判断平面内点集合P_plane的点数是否小于点数阈值Np_δ，若是，则执行步骤S104；否则执行步骤103；

步骤103：对平面内点集合P_plane进行平面聚类，得到聚类平面，并将点数大于或等于点数阈值N_δ的聚类平面保存为分离平面，记为P_{plane_m}，其中m为分离平面区分符；

并从点云P中剔除所有分离平面对应的点，得到更新后的点云P，并继续执行步骤101；

步骤104：当前点云P作为细节部分点云；

步骤2：对所有分离平面进行三角化平面拼接处理：

步骤201：对各分离平面分别进行边缘提取，得到每个分离平面的边缘信息P_{boundary_m}；

步骤202：对每个分离平面的边缘信息P_{boundary_m}进行边缘降采样：遍历边缘信息P_{boundary_m}的每个边缘点，搜索各边缘点在半径R₁内的所有近邻边缘点，并将所述近邻边缘点标识为冗余边缘点；

由所有非冗余边缘点得到降采样后的边缘信息P_{bd_m}；

步骤203：提取各分离平面的内部信息P_{inside_m}＝P_{plane_m}-P_{boundary_m}；

对各内部信息P_{inside_m}进行降采样：

对各分离平面的内部信息P_{inside_m}进行体素划分，并求解体素的中心点，搜索各中心点的最近邻点并作为各中心点的替代点，由所有中心点的替代点得到降采样后的内部信息P_{id_m}，其中体素为边长为r的立方体，边长r为预设值；

步骤204：组合边缘信息P_{bd_m}与内部信息P_{id_m}后，对各分离平面进行三角化处理，得到三角化结果Pl_{tri_m}，其中三角化半径R₂满足：r＜R₂＜2r；

步骤205：将M个三角化结果Pl_{tri_m}逐个拼接到一起，得到三角化平面组合结果Plane_tri；

步骤3：基于细节部分点云的分辨率re设置三角化半径R₃，其中re＜R₃＜2re；

基于三角化半径R₃对细节部分点云进行三角化，得到细节部分三角化结果Detail_tri；

步骤4：将细节部分三角化结果Detail_tri拼接到三角化平面组合结果Plane_tri，得到网格简化结果。

2.如权利要求1所述的方法，其特征在于，步骤202中，对近邻边缘点的搜索方式为：k-dimensional树搜索，且仅搜索非冗余边缘点的近邻边缘点。

3.如权利要求1所述的方法，其特征在于，步骤204和步骤3中，采用Delaunay算法进行三角化处理。

4.如权利要求1所述的方法，其特征在于，步骤205和步骤4中的拼接处理，涉及到点坐标和面片信息的拼接。