CN111354090A

CN111354090A - 一种自识别的三维点云模型孔洞修补方法及装置

Info

Publication number: CN111354090A
Application number: CN202010153570.XA
Authority: CN
Inventors: 柯慧淑
Original assignee: Beike Technology Co Ltd
Current assignee: Beike Technology Co Ltd
Priority date: 2020-03-06
Filing date: 2020-03-06
Publication date: 2020-06-30
Anticipated expiration: 2040-03-06
Also published as: CN111354090B

Abstract

本发明实施例提供一种自识别的三维点云模型孔洞修补方法及装置，该方法包括：外点和内点初始化为三维点云模型的表面点；内点沿着法向量相反的方向，按照预设步长向三维点云模型的内部迭代移动，当内点与预设动态邻域的任一点的法向量夹角大于或等于预设角度时停止移动，构造出三维点云模型的骨架；根据外点与骨架上相应内点之间的第一预设距离参数以及外点与相邻的其他外点之间的第二预设距离参数构建的外点点集优化方程确定外点的最终位置，从而实现孔洞修补。本发明实施例提供的自识别的三维点云模型孔洞修补方法及装置，实现了全自动化的三维点云模型孔洞修补，提高了处理效率，并且对于任意孔洞均有较好的修补效果，提高了孔洞修补的通用性。

Description

一种自识别的三维点云模型孔洞修补方法及装置

技术领域

本发明涉及数据处理技术领域，具体涉及一种自识别的三维点云模型孔洞修补方法及装置。

背景技术

近年来，三维扫描和三维重建技术已被广泛应用于文物修复、医疗影像、工程设计等领域。影像采集死角、物体遮挡等问题会导致模型初始采集过程中信息的丢失，而点云配准过程中的累积漂移等问题，也可能使生成的模型中存在退化三角形、孔洞等限制模型应用的缺陷。

目前常用的孔洞修补算法可以分为三类：(1)基于体素的方法；(2)基于三角网格的方法；(3)基于隐式曲面拟合的方法。基于体素的方法首先将输入的模型进行体素化，即将一个网格模型变换成由离散体积(即体素)表示的模型，然后在体积空间中应用不同的方法对体模型进行孔洞修复。基于三角网格的方法利用模型中顶点、边和三角形的特征，进行孔洞识别，基于孔洞附近三角网格的特征，生成新的顶点和三角形，再对这些新生成的顶点和三角形的位置和形状进行优化。基于隐式曲面拟合的方法根据孔洞边界点，拟合一张曲面片光滑地覆盖孔洞，再通过重采样曲面实现网格孔洞修补。

当前这些方法都存在着一定的缺陷。其中，基于隐式曲面的方法，面对岛屿状、多环等复杂孔洞的修补问题，仍需要一定的人工干预。基于体素的方法的时间复杂度过高，难以处理大孔洞。基于三角网格的方法，如果模型丢失信息过多或孔洞过大，可能导致模型的失真，无法获得理想的孔洞修补效果。

发明内容

为解决现有技术中的问题，本发明实施例提供一种自识别的三维点云模型孔洞修补方法及装置。

第一方面，本发明实施例提供一种自识别的三维点云模型孔洞修补方法，该方法包括：对三维点云模型进行预设预处理后，计算所述三维点云模型的表面点的法向量，并将外点和内点初始化为所述三维点云模型的所述表面点；所述内点沿着所述法向量相反的方向，按照预设步长向所述三维点云模型的内部迭代移动，当所述内点与预设动态邻域的任一内点的法向量夹角大于或等于预设角度时停止移动，直至满足预设比例的所述内点停止移动时迭代终止，由处于最终位置的各个所述内点构造出所述三维点云模型的骨架；根据所述外点与所述骨架上相应所述内点之间的第一预设距离参数以及所述外点与相邻的其他所述外点之间的第二预设距离参数构建的外点点集优化方程确定所述外点的最终位置，并且使得所述最终位置与真实值之间的误差小于预设阈值；由处于最终位置的各个所述外点形成优化后的所述三维点云模型的表面点集，从而实现孔洞修补。

进一步地，所述预设角度为45度。

进一步地，所述预设预处理包括：对所述三维点云模型进行去噪、下采样以及将所述三维点云模型的所述表面点均匀化中的至少一种。

进一步地，所述预设动态邻域的任一内点为与相应所述内点的距离在点云密度的第一预设倍数内的任一内点。

进一步地，所述第一预设倍数为2倍。

进一步地，在所述将外点和内点初始化为所述三维点云模型的所述表面点之前，所述方法还包括获取所述点云密度；所述获取所述点云密度包括：采用随机采样的方式，从所述三维点云模型的三维点集中选取预设第一数量的点作为特征点，利用K-D树结构遍历所述特征点并找出与每个所述特征点距离最小的临近点，计算各个所述特征点与相应所述临近点的距离平均值，从而得到所述点云密度。

进一步地，在所述由处于最终位置的各个所述内点构造出所述三维点云模型的骨架之前，所述方法还包括：对于不满足所述与预设动态邻域的点的法向夹角大于或等于预设角度的所述内点，通过如下公式确定相应所述内点的最终位置：

其中，r表示所述内点，d表示点云密度，n表示所述内点的法向量。

进一步地，所述第一预设距离参数的表达式为：

其中，L(O)表示所述第一预设距离参数，o_i表示第i个所述外点，h_i表示与o_i对应的所述骨架上的第i个所述内点，N₁表示所述外点的集合，N₂表示所述骨架上的所述内点的集合。

进一步地，所述第二预设距离参数的表达式为：

其中，R(O)表示所述第二预设距离参数，p_k表示o_i的预设邻域点集中的所述外点，N₃表示所述预设邻域点集；

和

是外点o_i切平面方向的任意两正交向量。

进一步地，p_k与o_i的距离小于点云密度的5倍。

进一步地，所述外点点集优化方程的表达式为：

argmin_O(L(O)+R(O))

其中，argmin_O表示求取L(O)+R(O)的最小化数值解。

进一步地，所述方法还包括：采用Levenberg-Marquardt算法计算得到所述最小化数值解。

进一步地，在所述由处于最终位置的各个所述外点形成优化后的所述三维点云模型的表面点集之后，所述方法还包括：使用双边滤波算法对所述三维点云模型做全局平滑处理。

第二方面，本发明实施例提供一种自识别的三维点云模型孔洞修补装置，该装置包括：预处理模块，用于：对三维点云模型进行预设预处理后，计算所述三维点云模型的表面点的法向量，并将外点和内点初始化为所述三维点云模型的所述表面点；骨架生成模块，用于：所述内点沿着所述法向量相反的方向，按照预设步长向所述三维点云模型的内部迭代移动，当所述内点与预设动态邻域的任一内点的法向量夹角大于或等于预设角度时停止移动，直至满足预设比例的所述内点停止移动时迭代终止，由处于最终位置的各个所述内点构造出所述三维点云模型的骨架；模型优化模块，用于：根据所述外点与所述骨架上相应所述内点之间的第一预设距离参数以及所述外点与相邻的其他所述外点之间的第二预设距离参数构建的外点点集优化方程确定所述外点的最终位置，并且使得所述最终位置与真实值之间的误差小于预设阈值；由处于最终位置的各个所述外点形成优化后的所述三维点云模型的表面点集，从而实现孔洞修补。

第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所提供的方法的步骤。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。

本发明实施例提供的自识别的三维点云模型孔洞修补方法及装置，通过外点和内点初始化为三维点云模型的表面点，内点沿着法向量相反的方向按照预设步长向三维点云模型的内部迭代移动形成三维点云模型的骨架，再根据外点与骨架上相应内点之间的第一预设距离参数以及外点与相邻的其他外点之间的第二预设距离参数构建的外点点集优化方程确定外点的最终位置，由处于最终位置的各个所述外点形成优化后的所述三维点云模型的表面点集，实现了全自动化的三维点云模型孔洞修补，提高了处理效率，并且对于任意孔洞均有较好的修补效果，提高了孔洞修补的通用性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的自识别的三维点云模型孔洞修补方法流程图；

图2是本发明另一实施例提供的自识别的三维点云模型孔洞修补方法流程图；

图3是本发明一实施例提供的自识别的三维点云模型孔洞修补装置结构示意图；

图4是本发明一实施例提供的电子设备的实体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

相关术语介绍：

三维点云模型骨架：骨架是三维点云模型的一种简单结构表示，它可以体现三维点云模型的基本拓扑特征和形状，而忽略原来的模型中所包含的冗余信息。骨架有两种表现类型：一种是曲线模型，被称为曲线骨架；另一种为中轴面模型。而本发明实施例中的骨架则是由输入点云模型表面点集构造出的一组内部点集。

K-D树：K-D树(k-dimensional树的简称)，是一种对k维空间中的实例点进行存储以便对其进行快速搜索的二叉树结构。K-D树是每个节点均为k维数值点的二叉树，其上的每个节点代表一个超平面，该超平面垂直于当前划分维度的坐标轴，并在该维度上将空间划分为两部分，一部分在其左子树，另一部分在其右子树。即若当前节点的划分维度为d，其左子树上所有点在d维的坐标值均小于当前值，右子树上所有点在d维的坐标值均大于等于当前值，本定义对其任意子节点均成立。

图1是本发明一实施例提供的自识别的三维点云模型孔洞修补方法流程图。如图1所示，所述方法包括：

步骤101、对三维点云模型进行预设预处理后，计算所述三维点云模型的表面点的法向量，并将外点和内点初始化为所述三维点云模型的所述表面点。

可以首先对输入的三维点云模型进行如去除噪声等的预设预处理后，再进行其他的处理过程，以起到提高孔洞修补精度等效果。

所述三维点云模型的表面点即三维点云模型中的数据点。由于采集点云数据的过程中是获取物体表面的数据，因此，三维点云模型中的数据点也称为表面点。由所有的表面点构成所述三维点云模型。对三维点云模型进行预设预处理后，计算所述三维点云模型的表面点的法向量。与通常的法向量的定义相同，所述表面点的法向量垂直于所述表面点的切平面且方向向外。

为后续孔洞修补过程需要，还需要构建外点点集和内点点集，并将外点点集中的外点和内点点集中的内点初始化为三维点云模型的表面点。外点和内点的均是由表面点进行构建的，且外点和内点的初始位置相同，均为相应表面点的初始位置。其中，初始位置对应于同一所述表面点的外点和内点称为相对应的外点和内点。进行外点和内点的区分主要原因是内点和外点的功能不同，内点主要用于向模型的内部移动，构建三维点云模型的骨架；外点主要在三维点云模型的表面移动，用于通过移动实现模型的孔洞修补。

比如，对于三维点云模型上的第i个表面点s_i，初始化一对点集<o_i,r_i>＝<s_i,s_i>，其中o_i代表输入点云的第i个外点，r_i代表输入点云的第i个内点。o_i和r_i相对应。其中，i表示序号。

步骤102、所述内点沿着所述法向量相反的方向，按照预设步长向所述三维点云模型的内部迭代移动，当所述内点与预设动态邻域的内点的法向量夹角大于或等于预设角度时停止移动，直至满足预设比例的所述内点停止移动时迭代终止，由处于最终位置的各个所述内点构造出所述三维点云模型的骨架。

所述内点沿着所述法向量相反的方向，按照预设步长向所述三维点云模型的内部迭代移动。对于每个内点，当这个内点与其预设动态邻域的任一内点的法向量夹角大于或等于预设角度时停止移动。其中，所述法向量夹角即所述内点的法向量与这个内点的预设动态邻域的内点的法向量之间的夹角。各个内点在移动过程中是沿着法向量相反的方向移动，因此，任意两个内点之间的法向量夹角在移动过程中是不变的。预设动态邻域(如距离内点的距离小于预设距离)确定后则保持不变，但是随着内点的移动，某个内点的预设动态邻域内所包含的内点可能是变化的。如果某个内点预设动态邻域内出现法向量夹角大于或等于预设角度的内点，则相应内点停止移动。因此，决定内点是否继续移动的因素就在于哪些内点成为某个点的预设动态邻域内的点。

比如，这个预设角度可以用ω表示，则在内点满足下列条件时相应内点停止移动：

其中，r_m表示第m个内点，Q_m表示r_m的预设动态邻域，q_k所述预设动态邻域内的点，·表示点积运算。

上式表明，只要r_m和q_k的点积的最大值小于或等于ω的余弦值，则r_m停止移动。r_m和q_k的点积的最大值小于或等于ω的余弦值即表示存在一q_k使得r_m和q_k的法向量夹角大于或等于ω。其中ω的值可根据实验结果调整。

所有的内点均沿着相应法向量相反的方向，按照预设步长向所述三维点云模型的内部迭代移动，有的点满足停止移动的条件后就不再移动；不满足停止移动的内点则继续移动。当满足预设比例的所述内点停止移动时迭代终止，即不再按照预设步长向所述三维点云模型的内部迭代移动。所述预设比例可以设定，比如可以为90％。由此得到迭代移动后各个所述内点的最终位置。由处于最终位置的各个所述内点构造出所述三维点云模型的骨架。

步骤103、根据所述外点与所述骨架上相应所述内点之间的第一预设距离参数以及所述外点与相邻的其他所述外点之间的第二预设距离参数构建的外点点集优化方程确定所述外点的最终位置，并且使得所述最终位置与真实值之间的误差小于预设阈值；由处于最终位置的各个所述外点形成优化后的所述三维点云模型的表面点集，从而实现孔洞修补。

得到三维点云模型的骨架后，通过优化外点位置进行孔洞修补。上述得到的骨架上的点的位置是位于模型结构的中间。为了使得外点的位置与真实值(Ground Truth)之间的误差尽可能小，实际上优化外点的目标可以分化为两个目标：一是，表面点(由于内点发生了移动，这里实际是用外点代表)与模型中部结构(骨架)之间的距离合适，表现在优化后的表面点与它对应的内点之间的欧式距离的和尽可能小；二是，优化后外点应尽可能地规律地分布在模型表面，表现在外点的每一点和它相邻的外点之间相关度量值的和的值尽可能小。

其中，第一个目标可以通过所述外点与所述骨架上相应所述内点之间的第一预设距离参数的取值表示，第二个目标可以通过所述外点与相邻的其他所述外点之间的第二预设距离参数的取值表示。因此，根据所述外点与所述骨架上相应所述内点之间的第一预设距离参数以及所述外点与相邻的其他所述外点之间的第二预设距离参数构建外点点集优化方程，进而根据外点点集优化方程确定外点的最终位置。在根据外点点集优化方程确定外点的最终位置时，可以实现上述两个目标，即可以实现表面点(这里用外点表示)的所述最终位置与真实值之间的误差最小，实际操作中表面点的最终位置与真实值之间的误差小于预设阈值即可。

由于表面点的真实值(Ground Truth)代表着一个完整的、无孔洞的三维模型，因此，可以由处于最终位置的各个所述外点形成优化后的所述三维点云模型的表面点集，从而实现孔洞修补。

由于通过第一预设距离参数以及所述外点与相邻的其他所述外点之间的第二预设距离参数构建的外点点集优化方程确定所述外点的最终位置，无需人工标识和处理孔洞所在位置，因此可实现自动化的识别和处理。

本发明实施例通过将外点和内点初始化为三维点云模型的表面点，内点沿着法向量相反的方向按照预设步长向三维点云模型的内部迭代移动形成三维点云模型的骨架，再根据外点与骨架上相应内点之间的第一预设距离参数以及外点与相邻的其他外点之间的第二预设距离参数构建的外点点集优化方程确定外点的最终位置，由处于最终位置的各个所述外点形成优化后的三维点云模型的表面点集，实现了全自动化的三维点云模型孔洞修补，提高了处理效率，并且对于任意孔洞均有较好的修补效果，提高了孔洞修补的通用性。

进一步地，基于上述实施例，所述预设角度为45度。

根据实验数据，所述预设角度为45度，即当所述内点与预设动态邻域的任一点的法向量夹角大于或等于45度时停止移动，可以实现较好的孔洞修补效果。

下面给出实验过程评价三维重建或孔洞修补的结果好坏的一种方法。通常采集目标场景三维数据的方法有通过kinect之类的深度相机采集，也有通过高精度的激光扫描系统得到。部分三维点云数据集除了深度图像序列和彩色图像序列之外，还会提供使用高精度的激光扫描仪得到的模型数据。通过激光扫描仪得到的数据是可以当作目标场景的真实值(Ground Truth)的。那么计算实验结果得到的重建点和对应真实点之间的欧式距离的平均值、最大值、最小值或方差等值均可作为优化后模型精度的考量，也即修补精度的考量。即经过处理后得到的点云和真实值之间越相近，认为孔洞修补效果结果越好或优化后的模型精度越高。

在上述实施例的基础上，本发明实施例通过设置预设角度为45度，生成的骨架能较好地体现点云模型形状，且受表面点的噪声影响小，从而提高了孔洞修补的效果。

进一步地，基于上述实施例，所述预设预处理包括：对所述三维点云模型进行去噪、下采样以及将所述三维点云模型的所述表面点均匀化中的至少一种。

对所述三维点云模型进行去噪处理，可以去除噪声数据对于修补过程的影响，从而提高修补的效果。对三维点云模型进行下采样用于对点云进行稀疏化处理，从而提高处理效率。对三维点云模型的所述表面点均匀化是为了得到一个较好的初始值，有利于提高模型精度。

所述预设预处理可以采用Weighted Locally Optimal Projection(WLOP)等算法实现。

在上述实施例的基础上，本发明实施例通过对三维点云模型进行去噪、下采样以及将三维点云模型的表面点均匀化等处理可以提高处理效率及增强孔洞修补效果，使得得到的模型的精度较高。

进一步地，基于上述实施例，所述预设动态邻域的任一内点为与相应所述内点的距离在点云密度的第一预设倍数内的任一内点。

点云密度是反映点与点之间距离的一种距离参数，可以用于反映点云的疏密程度。具体地，在内点按照预设步长进行迭代移动时，每移动一步都要进行内点与预设动态邻域的任一内点的法向量夹角的判断。预设动态邻域的点的数量与点云密度有关。因此，所述预设动态邻域的任一内点可以设为与相应所述内点的距离在点云密度的第一预设倍数内的内点。这样设置可以提高迭代过程的处理效率和效果。反之，比如，如果对于任意三维点云模型，所述预设动态邻域的内点设置为一定值，则若点云很稀疏，而预设动态邻域的范围很小，这样可能在内点移动多步的过程中相应预设动态邻域中均没有点出现，从而会增大额外的计算负担。

在上述实施例的基础上，本发明实施例通过设置预设动态邻域的点为与相应内点的距离在点云密度的第一预设倍数内的点，提高了迭代过程的处理效率及合理性。

进一步地，基于上述实施例，所述第一预设倍数为2倍。

根据实验数据，所述第一预设倍数为2倍，即所述预设动态邻域的点为与相应所述内点的距离小于点云密度的两倍，可以实现较好的孔洞修补效果。

在上述实施例的基础上，本发明实施例通过设置第一预设倍数为2倍，均衡了迭代过程的处理效率和效果，从而均衡了孔洞修补的处理效率和效果。

进一步地，基于上述实施例，在所述将外点和内点初始化为所述三维点云模型的所述表面点之前，所述方法还包括获取所述点云密度；所述获取所述点云密度包括：采用随机采样的方式，从所述三维点云模型的三维点集中选取预设第一数量的点作为特征点，利用K-D树结构遍历所述特征点并找出与每个所述特征点距离最小的临近点，计算各个所述特征点与相应所述临近点的距离平均值，从而得到所述点云密度。

在对三维点云模型进行预设预处理后，将外点和内点初始化为所述三维点云模型的所述表面点之前，采用随机采样的方式，从三维点云模型的三维点集中选取n个点作为特征点p_i(i＝1,2,3,…,n)，利用K-D树结构遍历这些特征点并找出与每个特征点距离最小的点p′_i(i＝1,2,3,…,n)，计算n个临近点与相应特征点的距离D，对所有D求平均值得到点云密度d。即：

式中||·||是计算一个向量的欧几里得范数。N₅表示p_i的临近点集,N₄表示特征点集。

点云密度的计算可以在计算所述三维点云模型的表面点的法向量的之前或之后进行。

在上述实施例的基础上，本发明实施例通过利用K-D树结构遍历特征点并找出与每个特征点距离最小的临近点，计算各个特征点与相应临近点的距离平均值，从而得到点云密度，提高了点云密度获取的效率。

进一步地，基于上述实施例，在所述由处于最终位置的各个所述内点构造出所述三维点云模型的骨架之前，所述方法还包括：

对于不满足所述与预设动态邻域的点的法向夹角大于或等于预设角度的所述内点，通过如下公式确定相应所述内点的最终位置：

其中，r表示所述内点，d表示所述点云密度，n表示所述内点的法向量。

点云空间中的每个点都是一个三维向量。在内点沿着所述法向量相反的方向，按照预设步长向所述三维点云模型的内部迭代移动终止后，只有预设比例的内点满足与预设动态邻域的任一点的法向量夹角大于或等于预设角度，比如若预设比例为90％，则迭代终止时至多有10％的点不满足上述条件。

对于不满足上述条件的所述预设比例之外的那部分内点，则按照上述公式重新计算最终位置，以提高骨架数据的精度。

在上述实施例的基础上，本发明实施例在内点的迭代移动终止后，对于不满足与预设动态邻域的任一点的法向量夹角大于或等于预设角度的内点重新计算最终位置，提高了骨架数据的精度。

进一步地，基于上述实施例，所述第一预设距离参数的表达式为：

当提取完点云模型的骨架之后，内点点集可引导外点点集位置的优化，以逐步修补输入三维点云模型的缺失区域。为了优化外点o_i的位置，定义所述第一预设距离参数的表达式为：

L(O)可以用于表征表面点和模型中部之间的距离，具体可以用于表征优化后的外点与其对应内点之间的欧式距离。L(O)越小，则优化后的外点与其对应内点之间的欧式距离越小。

在上述实施例的基础上，本发明实施例通过给出第一预设距离参数的具体公式，提高了自识别的三维点云模型孔洞修补的精度。

进一步地，基于上述实施例，所述第二预设距离参数的表达式为：

和

是外点o_i切平面方向的任意两正交向量，从而约束外点点集位置优化时，是只在垂直于它的法向的平面上运动的，即只在三维点云模型的表面移动。

R(O)可以用于表征优化后的外点在模型表面分布的均匀性。R(O)的值越小表示分布越均匀。

在上述实施例的基础上，本发明实施例通过给出第二预设距离参数的具体公式，提高了自识别的三维点云模型孔洞修补的精度。

进一步地，基于上述实施例，p_k与o_i的距离小于所述点云密度的5倍。

实验证明，p_k与o_i的距离小于所述点云密度的5倍时，可以取得较好的孔洞修补效果，得到的优化后的模型精度较高。令每一外点o_i的预设邻域点集用P_i表示，P_i中的每一点p_k满足：

P_i＝{p_k|‖p_k-o_i‖<5d}

即定义外点o_i的预设邻域点集时，将与外点o_i的距离小于5倍的点云密度的点视为外点o_i的预设邻域点集内的点。

在上述实施例的基础上，本发明实施例通过利用点云密度的5倍界定预设邻域点集，提高了模型精度。

进一步地，基于上述实施例，所述外点点集优化方程的表达式为：

argmin_O(L(O)+R(O))

其中，argmin_O表示求取L(O)+R(O)的最小化数值解。

如前所述，优化外点的目标可以分化为两个目标：一是，表面点与模型中部结构之间的距离合适，表现在优化后的表面点与它对应的内点之间的欧式距离的和尽可能小；二是，优化后外点应尽可能地规律地分布在模型表面，表现在外点的每一点和它相邻的外点之间相关度量值的和的值尽可能小。

L(O)和R(O)这两项正是为了保证这对应的两个目标，所以用这两项构造了一个最小化方程作为外点点集优化方程，求解最小化方程，从而得到最优解，那么得到方程的最优解时，就说明求得的外点位置越贴近上述两个目标，从而得到的结果越好。

求取L(O)+R(O)的最小化数值解是求解非线性最小二乘问题，如果预处理阶段没有进行点云均匀化的处理的话，可能会造成内点及外点的初始值不好，从而可能得到的是局部最优解。因此，在预处理阶段进行点云均匀化有利于提高模型精度。

在上述实施例的基础上，本发明实施例通过求取L(O)+R(O)的最小化数值解进行模型优化，进一步提高了模型精度。

进一步地，基于上述实施例，所述方法还包括：采用Levenberg-Marquardt算法计算得到所述最小化数值解。

莱文贝格－马夸特方法(Levenberg–Marquardt algorithm)能提供数非线性最小化(局部最小)的数值解。此算法能借由执行时修改参数达到结合高斯-牛顿算法以及梯度下降法的优点，并对两者之不足作改善(比如高斯-牛顿算法之反矩阵不存在或是初始值离局部极小值太远)。可以利用Levenberg-Marquardt算法计算得到L(O)+R(O)的最小化数值解。

在上述实施例的基础上，本发明实施例通过采用Levenberg-Marquardt算法计算得到最小化数值解，提高了模型精度和计算效率。

进一步地，基于上述实施例，在所述由处于最终位置的各个所述外点形成优化后的所述三维点云模型的表面点集之后，所述方法还包括：使用双边滤波算法对所述三维点云模型做全局平滑处理。

由于本发明实施例提出的方法都是基于局部区域的，在得到点云模型外点点集的最优位置后，使用双边滤波算法对点云模型做全局平滑处理。

在上述实施例的基础上，本发明实施例通过在由处于最终位置的各个外点形成优化后的三维点云模型的表面点集之后，使用双边滤波算法对三维点云模型做全局平滑处理，提高了三维点云模型的平滑度。

下面再通过一具体实例说明本发明实施例提供的自识别的三维点云模型孔洞修补方法。该方法包括如下步骤：

(一)三维点云模型骨架提取

处理步骤：

1)输入点云的预处理。这一步采用Huang等人提出的WLOP算法将初始点云进行去噪和下采样，同时将输入点云的表面点均匀化，并计算表面点的法向n_i，得到一个新的三维点集S。

2)点云平均稀疏度的计算。采用随机采样的方式，从当前三维点集S中选取n个点作为特征点p_i(i＝1,2,3,…,n)，利用K-D树结构遍历这些特征点并找出与其距离最小的点p′_i(i＝1,2,3,…,n)，计算临近点与特征点的距离D，对所有D求平均值得到点云密度d。即：

式中||·||是计算一个向量的欧几里得范数。

3)一种迭代的构造点云模型骨架的方法：

a)将三维点集S上的每一点设为s_i，并初始化一对点集<o_i,r_i>＝<s_i,s_i>，其中o_i代表输入点云的外点，r_i代表输入点云的内点；

b)使内点r_i向与它法向n_i相反的方向移动；

c)每次向点云模型内部移动后，计算每一内点r_i的动态邻域点集Q_i,Q_i中的每一点q_k满足：

Q_i＝{q_k|‖q_k-r_i‖<2d}

其中d是第2)步中计算得到的点云密度。

d)当满足：所述内点与预设动态邻域的任一点的法向量夹角大于或等于预设角度ω时停止移动，即：

则内点r_i停止移动，其中ω的值可根据实验结果调整，默认为45°。当停止移动的点的数目超过90％时，终止迭代。按照这样一种迭代的方法，可以得到输入点云的一个初始骨架，将骨架点集定义为H，骨架上的每一点定义为h_i。

4)按照如3)所述的方法后，输入点云模型骨架已基本得到，但仍可能有部分点未确定它在模型内部的最终位置，对于这些点，令：

作用和效果：按照如上述步骤所述，可提取出输入点云模型的骨架，这一步生成的骨架可用于后续孔洞修补中。

(二)自生长的孔洞修补

当提取完点云模型的骨架之后，内点点集可引导外点点集位置的优化，以逐步修补输入模型的缺失区域。为了优化外点o_i的位置，定义一个L1中值项(第一预设距离参数)：

这一项用于约束外点和骨架上相应内点之间的距离。

令每一外点o_i的邻域点集为P_i,P_i中的每一点p_k满足：

P_i＝{p_k|‖p_k-o_i‖<5d}

定义一个正则化项(第二预设距离参数)：

其中

和

是外点o_i切平面方向的任意两正交向量，从而约束外点点集位置优化时，是只在垂直于它的法向的平面上运动的。从而外点点集的优化方程为：

argmin_O(L(O)+R(O))

该优化方程可由Levenberg-Marquardt算法计算得到最小化数值解。

作用和效果：按照如上述步骤所述，可用步骤(一)计算得到的骨架来约束外点点集位置的优化，从而使得点云模型表面的点能在垂直于它法向的平面上正确地移动，在这一过程中点云表面的缺失区域也会逐渐得到补齐。

图2是本发明另一实施例提供的自识别的三维点云模型孔洞修补方法流程图。如图2所示，本发明实施例提供的自识别的三维点云模型孔洞修补方法流程包括：

1)首先使用WLOP算法预处理输入的点云模型；

2)计算预处理后点云模型的密度；

3)使用前述步骤(一)提出的方法使得模型表面的点向点云模型内部运动，逐渐下沉，直至满足内点和它的动态邻域的任一点的法向量夹角大于或等于预设角度，从而构造出输入点云模型的骨架；

4)使用前述步骤(二)提出的方法优化模型表面点的位置，使用Levenberg-Marquardt算法求解最小化方程，从而得到外点的最优位置；

5)由于本发明实施例提出的方法都是基于局部区域的，在得到点云模型外点点集的最优位置后，使用双边滤波算法对点云模型做全局平滑处理。

经过这样一个步骤，可得到一个完整、平滑的三维点云模型。

图3是本发明一实施例提供的自识别的三维点云模型孔洞修补装置结构示意图，如图3所示，所述装置包括预处理模块10、骨架生成模块20和模型优化模块30，其中：预处理模块10用于：对三维点云模型进行预设预处理后，计算所述三维点云模型的表面点的法向量，并将外点和内点初始化为所述三维点云模型的所述表面点；骨架生成模块20用于：所述内点沿着所述法向量相反的方向，按照预设步长向所述三维点云模型的内部迭代移动，当所述内点与预设动态邻域的任一内点的法向量夹角大于或等于预设角度时停止移动，直至满足预设比例的所述内点停止移动时迭代终止，由处于最终位置的各个所述内点构造出所述三维点云模型的骨架；模型优化模块30用于：根据所述外点与所述骨架上相应所述内点之间的第一预设距离参数以及所述外点与相邻的其他所述外点之间的第二预设距离参数构建的外点点集优化方程确定所述外点的最终位置，并且使得所述最终位置与真实值之间的误差小于预设阈值；由处于最终位置的各个所述外点形成优化后的所述三维点云模型的表面点集，从而实现孔洞修补。

进一步地，基于上述实施例，所述预设角度为45度。

进一步地，基于上述实施例，所述第一预设倍数为2倍。

进一步地，基于上述实施例，在所述预处理模块10将外点和内点初始化为所述三维点云模型的所述表面点之前，还用于获取所述点云密度；所述预处理模块10在用于获取所述点云密度时，具体用于：采用随机采样的方式，从所述三维点云模型的三维点集中选取预设第一数量的点作为特征点，利用K-D树结构遍历所述特征点并找出与每个所述特征点距离最小的临近点，计算各个所述特征点与相应所述临近点的距离平均值，从而得到所述点云密度。

在上述实施例的基础上，本发明实施例通过利用K-D树结构遍历特征点并找出与每个特征点距离最小的临近点，计算各个特征点与相应临近点的距离平均值，从而得到点云密度，提高了点云密度获取的精度。

进一步地，基于上述实施例，骨架生成模块20在用于由处于最终位置的各个所述内点构造出所述三维点云模型的骨架之前，还用于：对于不满足所述与预设动态邻域的点的法向夹角大于或等于预设角度的所述内点，通过如下公式确定相应所述内点的最终位置：

和

是外点o_i切平面方向的任意两正交向量。

argmin_O(L(O)+R(O))

其中，argmin_O表示求取L(O)+R(O)的最小化数值解。

进一步地，基于上述实施例，模型优化模块30还用于：采用Levenberg-Marquardt算法计算得到所述最小化数值解。

进一步地，基于上述实施例，模型优化模块30在用于由处于最终位置的各个所述外点形成优化后的所述三维点云模型的表面点集之后，还用于：使用双边滤波算法对所述三维点云模型做全局平滑处理。

本发明实施例提供的装置是用于上述方法的，具体功能可参照上述方法流程，此处不再赘述。

图4是本发明一实施例提供的电子设备的实体结构示意图。如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行如下方法：对三维点云模型进行预设预处理后，计算所述三维点云模型的表面点的法向量，并将外点和内点初始化为所述三维点云模型的所述表面点；所述内点沿着所述法向量相反的方向，按照预设步长向所述三维点云模型的内部迭代移动，当所述内点与预设动态邻域的任一内点的法向量夹角大于或等于预设角度时停止移动，直至满足预设比例的所述内点停止移动时迭代终止，由处于最终位置的各个所述内点构造出所述三维点云模型的骨架；根据所述外点与所述骨架上相应所述内点之间的第一预设距离参数以及所述外点与相邻的其他所述外点之间的第二预设距离参数构建的外点点集优化方程确定所述外点的最终位置，并且使得所述最终位置与真实值之间的误差小于预设阈值；由处于最终位置的各个所述外点形成优化后的所述三维点云模型的表面点集，从而实现孔洞修补。

此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：对三维点云模型进行预设预处理后，计算所述三维点云模型的表面点的法向量，并将外点和内点初始化为所述三维点云模型的所述表面点；所述内点沿着所述法向量相反的方向，按照预设步长向所述三维点云模型的内部迭代移动，当所述内点与预设动态邻域的任一内点的法向量夹角大于或等于预设角度时停止移动，直至满足预设比例的所述内点停止移动时迭代终止，由处于最终位置的各个所述内点构造出所述三维点云模型的骨架；根据所述外点与所述骨架上相应所述内点之间的第一预设距离参数以及所述外点与相邻的其他所述外点之间的第二预设距离参数构建的外点点集优化方程确定所述外点的最终位置，并且使得所述最终位置与真实值之间的误差小于预设阈值；由处于最终位置的各个所述外点形成优化后的所述三维点云模型的表面点集，从而实现孔洞修补。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种自识别的三维点云模型孔洞修补方法，其特征在于，包括：

对三维点云模型进行预设预处理后，计算所述三维点云模型的表面点的法向量，并将外点和内点初始化为所述三维点云模型的所述表面点；

所述内点沿着所述法向量相反的方向，按照预设步长向所述三维点云模型的内部迭代移动，当所述内点与预设动态邻域的任一内点的法向量夹角大于或等于预设角度时停止移动，直至满足预设比例的所述内点停止移动时迭代终止，由处于最终位置的各个所述内点构造出所述三维点云模型的骨架；

根据所述外点与所述骨架上相应所述内点之间的第一预设距离参数以及所述外点与相邻的其他所述外点之间的第二预设距离参数构建的外点点集优化方程确定所述外点的最终位置，并且使得所述最终位置与真实值之间的误差小于预设阈值；由处于最终位置的各个所述外点形成优化后的所述三维点云模型的表面点集，从而实现孔洞修补。

2.根据权利要求1所述的自识别的三维点云模型孔洞修补方法，其特征在于，所述预设角度为45度。

3.根据权利要求1所述的自识别的三维点云模型孔洞修补方法，其特征在于，所述预设预处理包括：

对所述三维点云模型进行去噪、下采样以及将所述三维点云模型的所述表面点均匀化中的至少一种。

4.根据权利要求1所述的自识别的三维点云模型孔洞修补方法，其特征在于，所述预设动态邻域的任一内点为与相应所述内点的距离在点云密度的第一预设倍数内的任一内点。

5.根据权利要求4所述的自识别的三维点云模型孔洞修补方法，其特征在于，所述第一预设倍数为2倍。

6.根据权利要求4所述的自识别的三维点云模型孔洞修补方法，其特征在于，在所述将外点和内点初始化为所述三维点云模型的所述表面点之前，所述方法还包括获取所述点云密度；所述获取所述点云密度包括：

采用随机采样的方式，从所述三维点云模型的三维点集中选取预设第一数量的点作为特征点，利用K-D树结构遍历所述特征点并找出与每个所述特征点距离最小的临近点，计算各个所述特征点与相应所述临近点的距离平均值，从而得到所述点云密度。

7.根据权利要求1所述的自识别的三维点云模型孔洞修补方法，其特征在于，在所述由处于最终位置的各个所述内点构造出所述三维点云模型的骨架之前，所述方法还包括：

8.一种自识别的三维点云模型孔洞修补装置，其特征在于，包括：

预处理模块，用于：对三维点云模型进行预设预处理后，计算所述三维点云模型的表面点的法向量，并将外点和内点初始化为所述三维点云模型的所述表面点；

骨架生成模块，用于：所述内点沿着所述法向量相反的方向，按照预设步长向所述三维点云模型的内部迭代移动，当所述内点与预设动态邻域的任一内点的法向量夹角大于或等于预设角度时停止移动，直至满足预设比例的所述内点停止移动时迭代终止，由处于最终位置的各个所述内点构造出所述三维点云模型的骨架；

模型优化模块，用于：根据所述外点与所述骨架上相应所述内点之间的第一预设距离参数以及所述外点与相邻的其他所述外点之间的第二预设距离参数构建的外点点集优化方程确定所述外点的最终位置，并且使得所述最终位置与真实值之间的误差小于预设阈值；由处于最终位置的各个所述外点形成优化后的所述三维点云模型的表面点集，从而实现孔洞修补。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述自识别的三维点云模型孔洞修补方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述自识别的三维点云模型孔洞修补方法的步骤。