CN114842180B - 一种点云补全方法、装置、设备及介质 - Google Patents
一种点云补全方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN114842180B CN114842180B CN202210785669.0A CN202210785669A CN114842180B CN 114842180 B CN114842180 B CN 114842180B CN 202210785669 A CN202210785669 A CN 202210785669A CN 114842180 B CN114842180 B CN 114842180B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- target
- features
- missing
- scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
Landscapes
- Engineering & Computer Science (AREA)
- Architecture (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Generation (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了一种点云补全方法、装置、设备及介质，涉及三维视觉领域，该方法包括：从目标对象的所有已知点云中筛选出第一目标点云，以获取包含目标多尺度特征的目标点云集；基于目标多尺度特征确定所有已知点云对应的全局特征，并基于全局特征预测目标对象的初始缺失点云，获取初始缺失点云的点云特征；利用目标多尺度特征对初始缺失点云的点云特征进行优化得到优化后点云特征，基于优化后点云特征预测目标对象的优化后缺失点云；从已知点云中选取第二目标点云，将第二目标点云和优化后缺失点云进行融合得到稀疏完整点云，基于稀疏完整点云获取目标对象的稠密完整点云。优化过程建立了已知点云与缺失点云的本质关系，提高了点云预测的准确性。
Description
技术领域
本发明涉及三维视觉领域，特别涉及一种点云补全方法、装置、设备及介质。
背景技术
当前，在三维视觉中，三维物体可由三维点云表示，这种表示方式已被广泛应用于智能驾驶、机器人、虚拟现实、增强现实等三维计算机视觉任务中。但是，由于物体遮挡、镜面反射等问题，深度相机、雷达等三维扫描设备，采集得到的原始三维点云不可避免的存在缺失。点云补全任务致力于根据采集到的点云，预测物体缺失部分的点云，从而得到三维物体的完整三维点云。现存点云补全方法大多是采用编码器-解码器结构，设计编码器从已知的点云中提取全局形状特征，然后利用解码器从全局形状特征中解码得到完整的点云。最近，有方法提出层次解码器，从稀疏到稠密多个粒度上解码点云，逐步得到物体的稠密完整点云。但是，现有的点云补全方法忽略了物体的已知点云与缺失点云之间的本质关系，不能由已知点云准确地预测缺失的点云。
由此可见，如何提高预测缺失点云的准确率是当前亟待解决的问题。
发明内容
有鉴于此，本发明的目的在于提供一种点云补全方法、装置、设备及介质，能够提高预测缺失点云的准确率。其具体方案如下：
第一方面，本申请公开了一种点云补全方法，应用于预先设置的点云补全网络，包括：
从目标对象的所有已知点云中筛选出第一目标点云，以获取包含目标多尺度特征的目标点云集；
基于所述目标多尺度特征得到所有所述已知点云对应的全局特征，并基于所述全局特征预测所述目标对象的初始缺失点云，并获取所述初始缺失点云的点云特征；
利用所述目标多尺度特征对所述初始缺失点云的点云特征进行优化以得到优化后点云特征，并基于所述优化后点云特征预测所述目标对象的优化后缺失点云；
从所述已知点云中选取第二目标点云，并将所述第二目标点云和所述优化后缺失点云进行融合以得到稀疏完整点云，然后基于所述稀疏完整点云获取所述目标对象的稠密完整点云。
可选的，所述从目标对象的所有已知点云中筛选出第一目标点云，以获取包含目标多尺度特征的目标点云集，包括：
从目标对象的所有已知点云中筛选出第一目标点云；
选取所述第一目标点云对应的第一邻域和第二邻域，并分别融合所述第一邻域和所述第二邻域中各个所述第一目标点云的原始特征得到第一特征和第二特征；
将所述第一特征和所述第二特征相加得到所述待提升多尺度特征，并对所述待提升尺度特征进行特征提升以获取包含所述目标多尺度特征的目标点云集。
可选的，所述选取所述第一目标点云对应的第一邻域和第二邻域，包括：
计算所述第一目标点云的点云坐标对应的欧式距离，并基于所述欧氏距离选取所述第一目标点云对应的第一邻域和第二邻域。
可选的，所述对所述待提升尺度特征进行特征提升，包括：
利用自注意力机制对所述待提升尺度特征进行特征提升。
可选的，所述基于所述目标多尺度特征得到所有所述已知点云对应的全局特征，包括：
对所述目标多尺度特征进行最大池化以得到所有所述已知点云对应的全局特征。
可选的，所述对所述目标多尺度特征进行最大池化以得到所有所述已知点云对应的全局特征，包括：
若存在不同的若干所述目标点云集，则将不同所述目标点云集之间的所述目标多尺度特征进行融合以得到融合后多尺度特征，并对所述融合后多尺度特征进行最大池化以得到所有所述已知点云对应的全局特征。
可选的，所述获取所述初始缺失点云的点云特征，包括：
将所述全局特征分别与每个所述初始缺失点云的三维坐标进行融合得到融合后特征，并基于所述融合后特征获取每个所述初始缺失点云的点云特征。
可选的，所述利用所述目标多尺度特征对所述初始缺失点云的点云特征进行优化以得到优化后点云特征，包括：
若存在不同的若干所述目标点云集，则将所述初始缺失点云的点云特征作为当前点云特征，并从所述目标点云集中选取点云数目最少的所述目标点云集作为当前点云集；
利用所述当前点云集中的所述目标多尺度特征对所述当前点云特征进行优化得到目标云特征；
将所述目标点云特征作为所述当前点云特征，并从未选取的所述目标点云集中选取点云数目最少的所述目标点云集作为所述当前点云集，然后跳转至所述利用所述当前点云集中的所述目标多尺度特征对所述当前点云特征进行优化得到目标点云特征的步骤，直至不存在未选取的所述目标点云集，以得到优化后点云特征。
可选的，所述利用所述当前点云集中的所述目标多尺度特征对所述当前点云特征进行优化得到目标点云特征，包括：
从所述当前点云集中选取出第三目标点云，利用所述第三目标点云进行点云投票以获取所述当前点云特征对应的所述初始缺失点云的特征偏移量；
将所述当前点云特征和相应的所述特征偏移量相加，以对所述当前点云特征进行优化得到所述初始缺失点云的目标点云特征。
可选的，所述基于所述稀疏完整点云获取所述目标对象的稠密完整点云之后，还包括：
确定所述目标对象的真实完整点云，计算所述真实完整点云与所述稀疏完整点云之间的第一损失，以及所述真实完整点云与所述稠密完整点云之间的第二损失；
将所述第一损失和所述第二损失相加得到目标损失，并利用所述目标损失训练预先设置的所述点云补全网络。
可选的，所述利用所述目标损失训练预先设置的所述点云补全网络，包括：
利用所述目标损失，并基于梯度下降算法修改所述点云补全网络中的各网络参数，然后利用修改后的所述点云补全网络计算新损失，并将所述新损失作为所述目标损失；
跳转至所述利用所述目标损失，并基于梯度下降算法修改所述点云补全网络中的各网络参数的步骤，直至满足预设条件，然后保存最终修改后的所述点云补全网络。
可选的，所述预设条件为所述目标损失不大于第一预设阈值或修改次数不小于第二预设阈值。
可选的，所述基于所述优化后点云特征预测所述目标对象的优化后缺失点云，包括：
利用多层感知机，并基于所述优化后点云特征预测所述目标对象的优化后缺失点云。
第二方面，本申请公开了一种点云补全装置，应用于预先设置的点云补全网络，包括：
筛选模块，用于从目标对象的所有已知点云中筛选出第一目标点云，以获取包含目标多尺度特征的目标点云集；
第一预测模块，用于基于所述目标多尺度特征得到所有所述已知点云对应的全局特征，并基于所述全局特征预测所述目标对象的初始缺失点云，并获取所述初始缺失点云的点云特征；
第二预测模块，用于利用所述目标多尺度特征对所述初始缺失点云的点云特征进行优化以得到优化后点云特征，并基于所述优化后点云特征预测所述目标对象的优化后缺失点云；
完整点云获取模块，用于从所述已知点云中选取第二目标点云，并将所述第二目标点云和所述优化后缺失点云进行融合以得到稀疏完整点云，然后基于所述稀疏完整点云获取所述目标对象的稠密完整点云。
第三方面，本申请公开了一种电子设备，包括处理器和存储器；其中，所述处理器执行所述存储器中保存的计算机程序时实现前述公开的点云补全方法。
第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的点云补全方法。
可见，本申请从目标对象的所有已知点云中筛选出第一目标点云，以获取包含目标多尺度特征的目标点云集；基于所述目标多尺度特征得到所有所述已知点云对应的全局特征，并基于所述全局特征预测所述目标对象的初始缺失点云，并获取所述初始缺失点云的点云特征；利用所述目标多尺度特征对所述初始缺失点云的点云特征进行优化以得到优化后点云特征，并基于所述优化后点云特征预测所述目标对象的优化后缺失点云；从所述已知点云中选取第二目标点云，并将所述第二目标点云和所述优化后缺失点云进行融合以得到稀疏完整点云，然后基于所述稀疏完整点云获取所述目标对象的稠密完整点云。由此可见，本申请从已知点云中筛选得到第一目标点云。利用第一目标点云进行后续操作，考虑到了目标对象的局部的细节特征，提高了点云预测的准确性；本申请基于所述全局特征预测所述目标对象的初始缺失点云，并利用所述目标多尺度特征对所述初始缺失点云的点云特征进行优化以得到优化后点云特征，此优化过程建立了已知点云与缺失点云之间的本质关系，提高了点云预测的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请提供的一种点云补全方法流程图；
图2为本申请提供的一种具体的点云补全方法流程图；
图3为本申请提供的一种特征提取和提升模块结构示意图；
图4为本申请提供的一种具体的点云补全方法流程图；
图5为本申请提供的一种点云补全方法流程示意图；
图6为本申请提供的一种具体的点云补全方法流程示意图；
图7为本申请提供的一种点云补全网络测试结果示意图；
图8为本申请提供的一种点云补全装置结构示意图；
图9为本申请提供的一种电子设备结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
当前现有的点云补全方法忽略了物体的已知点云与缺失点云之间的本质关系，不能由已知点云准确地预测缺失的点云。
为了克服上述问题，本申请提供了一种点云补全方案，能够提高预测缺失点云的准确率。
参见图1所示，本申请实施例公开了一种点云补全方法，应用于预先设置的点云补全网络，该方法包括：
步骤S11：从目标对象的所有已知点云中筛选出第一目标点云，以获取包含目标多尺度特征的目标点云集。
本申请实施例中，深度相机、雷达等设备扫描三维真实场景时，由于遮挡、光线不好等原因，扫描得到的物体点云表示可能存在缺失，但是现有的点云补全方法只利用了全局特征，并没有提取含有更多细节信息的局部特征，会导致解码点云的时候丢失细节形状，另外，忽略了物体的已知点云与缺失点云之间的本质关系，不能由已知点云准确地预测缺失的点云；因此本申请提出了新的点云补全方法。
本申请实施例中，从目标对象的所有已知点云中筛选出第一目标点云，以获取包含目标多尺度特征的目标点云集；需要指出的是，可以对目标对象的所有已知点云进行不同点云数量的筛选，以获取不同的包括多尺度特征的目标点云集。例如，若进行三次筛选，可以分别进行三次不同程度的筛选得到三组第一目标点云，进一步得到三个不同的目标点云集，也可以依次进行筛选，首先依次筛选得到第一点云集，再在第一点云集的基础上进行筛选得到第二点云集，然后在第二点云集的基础上进行筛选得到第三点云集。需要指出的是，当选择使用的目标点云集时，可以不全部使用，例如，当存在所述第一点云集、第二点云集和第三点云集时，可使用三个点云集，也可以使用第一点云集合第二点云集，还可以单使用第三点云集。需要指出的是，选择目标点云集时优先选择得到的点云集之间点云数量少的点云集；具体的目标点云集的数量在此不做具体限定。
步骤S12：基于所述目标多尺度特征得到所有所述已知点云对应的全局特征，并基于所述全局特征预测所述目标对象的初始缺失点云，然后获取所述初始缺失点云的点云特征。
本申请实施例中，对所述目标多尺度特征进行最大池化以得到所有所述已知点云对应的全局特征。需要指出的是，若存在不同的若干所述目标点云集，则将不同所述目标点云集之间的所述目标多尺度特征进行融合以得到融合后多尺度特征，并对所述融合后多尺度特征进行最大池化以得到所有所述已知点云对应的全局特征。
本申请实施例中，利用多层感知机，并基于所述优化后点云特征预测所述目标对象的优化后缺失点云，然后获取所述初始缺失点云的点云特征，具体为：将所述全局特征分别与每个所述初始缺失点云的三维坐标进行融合得到融合后特征，并基于所述融合后特征获取每个所述初始缺失点云的点云特征。
步骤S13：利用所述目标多尺度特征对所述初始缺失点云的点云特征进行优化以得到优化后点云特征，并基于所述优化后点云特征预测所述目标对象的优化后缺失点云。
本申请实施例中，利用目标点云集中的所述目标多尺度特征对所述初始缺失点云的点云特征进行优化以得到优化后点云特征。需要指出的是，若存在若干不同的目标点云集，则分别对不同目标点云集中的所述目标多尺度特征对所述初始缺失点云的点云特征进行优化以得到相应的不同组优化后点云特征，然后用所述优化后点云特征预测所述目标对象的优化后缺失点云。
步骤S14：从所述已知点云中选取第二目标点云，并将所述第二目标点云和所述优化后缺失点云进行融合以得到稀疏完整点云，然后基于所述稀疏完整点云获取所述目标对象的稠密完整点云。
本申请实施例中，从所述已知点云中选取第二目标点云，并将所述第二目标点云和所述优化后缺失点云进行融合以得到稀疏完整点云，然后利用折叠解码网络将基于所述稀疏完整点云获取所述目标对象的稠密完整点云，具体的，以稀疏完整点云为中心点，进行解码以得到稠密完整点云。需要指出的是，折叠解码网络采用现有的FoldNet实现。
本申请实施例中，在基于所述稀疏完整点云获取所述目标对象的稠密完整点云之后，需要对预先设置的点云补全网络进行训练以完善网络，具体的：确定所述目标对象的真实完整点云，计算所述真实完整点云与所述稀疏完整点云之间的第一损失，以及所述真实完整点云与所述稠密完整点云之间的第二损失；将所述第一损失和所述第二损失相加得到目标损失，并利用所述目标损失训练预先设置的所述点云补全网络。
需要指出的是，采用CD（Chamfer Distance，倒角距离）作为损失函数，计算第一损失和第二损失，并将所述第一损失和所述第二损失相加得到目标损失，具体计算公式为：
式中，
和
分别为第一损失和第二损失，
为目标损失，
表示真实完整点云，
表示稀疏完整点云，
表示稠密完整点云，
表示任一稀疏完整点云的三维坐标或任一稠密完整点云的三维坐标，
表示真实完整点云的三维坐标。
本申请实施例中，利用所述目标损失训练预先设置的所述点云补全网络，具体为：利用所述目标损失，并基于梯度下降算法修改所述点云补全网络中的各网络参数，然后利用修改后的所述点云补全网络计算新损失，并将所述新损失作为所述目标损失；跳转至所述利用所述目标损失，并基于梯度下降算法修改所述点云补全网络中的各网络参数的步骤，直至满足预设条件，然后保存最终修改后的所述点云补全网络。需要指出的是，所述预设条件为所述目标损失不大于第一预设阈值或修改次数不小于第二预设阈值。具体的，本申请利用梯度下降最小化目标损失，端对端地训练点云补全网络，以预测三维物体的真实完整点云。当网络的训练误差达到一个指定的较小值或者迭代次数达到指定的最大值时，训练结束。保存网络以及网络参数，用以测试。
需要指出的是，若获取稠密完整点云的过程为正向，则反向对所述点云补全网络进行训练，并在一次训练完成后，继续正向获取完整点云，然后再反向对所述点云补全网络进行训练，直至满足预设条件。需要指出的是，一次正向和一次方向的过程为一次迭代。
本申请实施例中，获得最终修改后的所述点云补全网络之后，还可以进一步测试网络，具体，以类别“桌子”、“船”、“飞机”为例，将ShapeNet测试集中不完整的已知点云作为测试集输入到最终修改后的点云补全网络中，输出的测试结果为物体的完整点云。
可见，本申请从目标对象的所有已知点云中筛选出第一目标点云，以获取包含目标多尺度特征的目标点云集；基于所述目标多尺度特征得到所有所述已知点云对应的全局特征，并基于所述全局特征预测所述目标对象的初始缺失点云，并获取所述初始缺失点云的点云特征；利用所述目标多尺度特征对所述初始缺失点云的点云特征进行优化以得到优化后点云特征，并基于所述优化后点云特征预测所述目标对象的优化后缺失点云；从所述已知点云中选取第二目标点云，并将所述第二目标点云和所述优化后缺失点云进行融合以得到稀疏完整点云，然后基于所述稀疏完整点云获取所述目标对象的稠密完整点云。由此可见，本申请从已知点云中筛选得到第一目标点云。利用第一目标点云进行后续操作，考虑到了目标对象的局部的细节特征，提高了点云预测的准确性；本申请基于所述全局特征预测所述目标对象的初始缺失点云，并利用所述目标多尺度特征对所述初始缺失点云的点云特征进行优化以得到优化后点云特征，此优化过程建立了已知点云与缺失点云之间的本质关系，提高了点云预测的准确性；利用目标损失对网络进行训练有利于完善网络得到更准确地点云补全网络。
参见图2所示，本申请实施例公开了一种具体的点云补全方法，应用于预先设置的点云补全网络，该方法包括：
步骤S21：从目标对象的所有已知点云中筛选出第一目标点云；选取所述第一目标点云对应的第一邻域和第二邻域，并分别融合所述第一邻域和所述第二邻域中各个所述第一目标点云的原始特征得到第一特征和第二特征。
本申请实施例中，选取所述第一目标点云对应的第一邻域和第二邻域的具体过程为：计算所述第一目标点云的点云坐标对应的欧式距离，并基于所述欧氏距离选取所述第一目标点云对应的第一邻域和第二邻域。
步骤S22：将所述第一特征和所述第二特征相加得到所述待提升多尺度特征，并对所述待提升尺度特征进行特征提升以获取包含所述目标多尺度特征的目标点云集。
本申请实施例中，将所述第一特征和所述第二特征相加得到所述待提升多尺度特征，并利用自注意力机制对所述待提升尺度特征进行特征提升，以获取包含所述目标多尺度特征的目标点云集。
本申请实施例中，如图3所示，为特征提取和提升模块结构示意图，点云特征的提取模块，通过改进已有的EdgeConv而实现，具体地，对于点云中的每个点，根据其坐标的欧氏距离选取两个不同大小的K1和K2邻域，在两个邻域上分别利用已有的EdgeConv算法融合领域中点的特征，将两个邻域上融合后的特征相加，得到当前点的多尺度特征。然后，点云特征提升模块采用自注意力机制实现，对于已获得的点的多尺度特征，利用已有的自注意力机制，建立已知点云中点与点之间的关系，融合点的上下文特征，提升点云多尺度特征的语义和几何表达能力。
需要指出的是，特征提取和提升模块，利用注意力机制，为种子点学习多尺度特征；可以从已知点云中学习得到种子点集，并为种子点学习多尺度特征，为优化物体缺失点云特征提供基础；另外，特征提取和提升模块充分提取已知点云的局部和全局特征，有利于学习缺失点云的特征。
步骤S23：基于所述目标多尺度特征得到所有所述已知点云对应的全局特征，并基于所述全局特征预测所述目标对象的初始缺失点云，然后获取所述初始缺失点云的点云特征。
本实施例中，关于上述步骤S23的具体过程，可以参考前述实施例中公开的相应内容，在此不再进行赘述。
步骤S24：利用所述目标多尺度特征对所述初始缺失点云的点云特征进行优化以得到优化后点云特征，并基于所述优化后点云特征预测所述目标对象的优化后缺失点云。
本申请实施例中，利用目标点云集中的所述目标多尺度特征对所述初始缺失点云的点云特征进行优化以得到优化后点云特征。需要指出的是，若存在若干不同的目标点云集，则分别对不同目标点云集中的所述目标多尺度特征对所述初始缺失点云的点云特征进行优化以得到相应的不同组优化后点云特征，然后用所述优化后点云特征预测所述目标对象的优化后缺失点云。
步骤S25：从所述已知点云中选取第二目标点云，并将所述第二目标点云和所述优化后缺失点云进行融合以得到稀疏完整点云，然后基于所述稀疏完整点云获取所述目标对象的稠密完整点云。
本实施例中，关于上述步骤S25的具体过程，可以参考前述实施例中公开的相应内容，在此不再进行赘述。
可见，本申请从目标对象的所有已知点云中筛选出第一目标点云；选取所述第二目标点云对应的第一邻域和第二邻域，并分别融合所述第一邻域和所述第二邻域中各个所述第一目标点云的原始特征得到第一特征和第二特征；将所述第一特征和所述第二特征相加得到所述待提升多尺度特征，并对所述待提升尺度特征进行特征提升以获取包含所述目标多尺度特征的目标点云集；基于所述目标多尺度特征得到所有所述已知点云对应的全局特征，并基于所述全局特征预测所述目标对象的初始缺失点云，然后获取所述初始缺失点云的点云特征；利用所述目标多尺度特征对所述初始缺失点云的点云特征进行优化以得到优化后点云特征，并基于所述优化后点云特征预测所述目标对象的优化后缺失点云；从所述已知点云中选取第二目标点云，并将所述第二目标点云和所述优化后缺失点云进行融合以得到稀疏完整点云，然后基于所述稀疏完整点云获取所述目标对象的稠密完整点云。由此可见，本申请利用特征提取和提升模块，有利于目标多尺度特征的学习，为优化物体缺失点云特征提供基础；本申请基于所述全局特征预测所述目标对象的初始缺失点云，并利用所述目标多尺度特征对所述初始缺失点云的点云特征进行优化以得到优化后点云特征，此优化过程建立了已知点云与缺失点云之间的本质关系，提高了点云预测的准确性。
参见图4所示，本申请实施例公开了一种具体的点云补全方法，应用于预先设置的点云补全网络，该方法包括：
步骤S31：从目标对象的所有已知点云中筛选出第一目标点云，以获取包含目标多尺度特征的目标点云集。
本实施例中，关于上述步骤S31的具体过程，可以参考前述实施例中公开的相应内容，在此不再进行赘述。
步骤S32：基于所述目标多尺度特征得到所有所述已知点云对应的全局特征，并基于所述全局特征预测所述目标对象的初始缺失点云，然后获取所述初始缺失点云的点云特征。
本实施例中，关于上述步骤S32的具体过程，可以参考前述实施例中公开的相应内容，在此不再进行赘述。
步骤S33：若存在不同的若干所述目标点云集，则将所述初始缺失点云的点云特征作为当前点云特征，并从所述目标点云集中选取点云数目最少的所述目标点云集作为当前点云集。
本实施例中，关于上述步骤S33的具体过程，可以参考前述实施例中公开的相应内容，在此不再进行赘述。
步骤S34：利用所述当前点云集中的所述目标多尺度特征对所述当前点云特征进行优化得到目标云特征。
本申请实施例中，从所述当前点云集中选取出第三目标点云，利用所述第三目标点云进行点云投票以获取所述当前点云特征对应的所述初始缺失点云的特征偏移量；将所述当前点云特征和相应的所述特征偏移量相加，以对所述当前点云特征进行优化得到所述初始缺失点云的目标点云特征。
本申请实施例中，从所述当前点云集中选取出第三目标点云，利用所述第三目标点云进行点云投票以获取所述当前点云特征对应的所述初始缺失点云的特征偏移量，需要指出的是，所述第三目标点云与所述初始缺失点云可相同或不同，在此不做具体限定。
本申请实施例中，若只存在一个所述目标点云集，则直接利用目标点云集中的第三目标点云进行点云投票，得到初始缺失点云分别对应的特征偏移量。具体的，从所述目标点云集中选取出第三目标点云，利用所述第三目标点云进行点云投票以获取所述初始缺失点云的点云特征对应的所述初始缺失点云的特征偏移量；将所述初始缺失点云的点云特征和相应的所述特征偏移量相加，以对所述初始缺失点云的点云特征进行优化得到所述初始缺失点云的优化后点云特征。
本申请实施例中，进行点云投票主要使用的是深度霍夫点云投票机制，投票得到目标对象的初始缺失点云的特征偏移量。需要指出的是，点云投票过程由点云投票模块完成，有利于从物体的已知点云直接预测物体缺失部分的点云。
步骤S35：将所述目标点云特征作为所述当前点云特征，并从未选取的所述目标点云集中选取点云数目最少的所述目标点云集作为所述当前点云集，然后跳转至所述利用所述当前点云集中的所述目标多尺度特征对所述当前点云特征进行优化得到目标点云特征的步骤，直至不存在未选取的所述目标点云集，以得到优化后点云特征。
本申请实施例中，所有的所述目标点云集都要参与点云投票的过程以提高准确率，得到优化后点云特征。
步骤S36：基于所述优化后点云特征预测所述目标对象的优化后缺失点云。
本实施例中，关于上述步骤S36的具体过程，可以参考前述实施例中公开的相应内容，在此不再进行赘述。
步骤S37：从所述已知点云中选取第二目标点云，并将所述第二目标点云和所述优化后缺失点云进行融合以得到稀疏完整点云，然后基于所述稀疏完整点云获取所述目标对象的稠密完整点云。
本实施例中，关于上述步骤S37的具体过程，可以参考前述实施例中公开的相应内容，在此不再进行赘述。
可见，本申请从目标对象的所有已知点云中筛选出第一目标点云，以获取包含目标多尺度特征的目标点云集；基于所述目标多尺度特征得到所有所述已知点云对应的全局特征，并基于所述全局特征预测所述目标对象的初始缺失点云，然后获取所述初始缺失点云的点云特征；若存在不同的若干所述目标点云集，则将所述初始缺失点云的点云特征作为当前点云特征，并从所述目标点云集中选取点云数目最少的所述目标点云集作为当前点云集；利用所述当前点云集中的所述目标多尺度特征对所述当前点云特征进行优化得到目标云特征；将所述目标点云特征作为所述当前点云特征，并从未选取的所述目标点云集中选取点云数目最少的所述目标点云集作为所述当前点云集，然后跳转至所述利用所述当前点云集中的所述目标多尺度特征对所述当前点云特征进行优化得到目标点云特征的步骤，直至不存在未选取的所述目标点云集，以得到优化后点云特征；基于所述优化后点云特征预测所述目标对象的优化后缺失点云；从所述已知点云中选取第二目标点云，并将所述第二目标点云和所述优化后缺失点云进行融合以得到稀疏完整点云，然后基于所述稀疏完整点云获取所述目标对象的稠密完整点云。由此可见，本申请利用深度霍夫点云投票机制对点云进行投票，以对初始缺失点云进行优化，此优化过程建立了已知点云与缺失点云之间的本质关系，提高了点云预测的准确性；另外，所有目标点云集参与点云投票，提高了点云投票的准确性。
参见图5所示，为本申请公开的点云补全方法流程示意图，物体已知点云通过金字塔种子点学习网络和层次缺失点云投票网络得到物体缺失点云，然后进一步由物体已知点云和物体缺失点云得到物体完整点云。具体的，将物体的已知点云输入网络，利用金字塔种子点学习，学习得到多个层次的种子点集，并为每个种子点赋予多尺度特征。然后，利用层次缺失点云投票，在多个层次上，利用相应的种子点集投票得到缺失的点云。最后，融合已知点云，得到物体的完整点云。
需要指出的是，本申请设计了一种基于投票的点云补全方法，从已知点云中选取种子点，并利用深度霍夫投票机制，投票得到物体的缺失点云融合已知点云，可以得到物体的完整点云；金字塔种子点学习网络中设计了一种特征提取和提升模块，首先从已知点云中选取种子点，然后利用特征提取和提升网络，利用注意力机制，为种子点学习多尺度特征。多个特征提取和提升模块组成金字塔种子点生成部分，可以在多个层次上学习得到多个种子点集；层次缺失点云投票网络中设计了一种点云投票模块，利用种子点投票，从物体的已知点云直接预测得到物体的缺失点云。多个点云投票模块组成层次缺失点云投票部分，可以在多个层次上，利用相应层次的种子点集生成投票，预测缺失点云，将预测的点云作为中心点，利用基于折叠的解码器，可以解码得到物体缺失部分的稠密点云，从而得到物体的完整点云。
参见图6所示，为本申请公开的具体的点云补全方法流程示意图，具体包括如下步骤：步骤一：构建金字塔种子点学习网络，从物体的已知点云中，学习得到多个层次的种子点集；步骤二：构建层次缺失点云投票网络，预测物体的缺失点云，并获得稀疏完整点云；步骤三：构建折叠解码网络，预测物体的稠密完整点云；另外，还有步骤四：设置损失函数，训练基于投票的点云补全网络。需要指出的是，本示意图中，以数据集ShapeNet为例对本发明进一步详细说明，ShapeNet数据集包含椅子、台灯、船等8个类别，一共有30974个三维点云模型，分别选取100和150个模型作为验证集和测试集，剩下的模型作为训练集。对于每个三维点云模型，随机从8个视角采样得到不完整的三维点云，作为物体不完整的已知点云。以类别“椅子”为例，具体说明点云补全方法。
需要指出的是，步骤一具体为：（1）构建点云特征提取和提升模块，为种子点学习多尺度特征。对于点云中的每个点，根据其坐标的欧氏距离选取两个不同大小的K1和K2邻域，在两个邻域上分别利用已有的EdgeConv算法融合领域中点的特征，将两个邻域上融合后的特征相加，得到当前点的多尺度特征。点云特征提升模块采用自注意力机制实现，对于已获得的点的多尺度特征，利用已有的自注意力机制，建立已知点云中点与点之间的关系，融合点的上下文特征，提升点云多尺度特征的语义和几何表达能力。（2）构建金字塔种子点学习网络，学习多个层次的种子点集，用以投票。采用多个层次的特征提取，图6中以三个层次为例说明，采用三个层次的特征提取，可以从已知点云中采样得到三个层次的种子点集（点集的大小依次减小），该步骤可利用FPS（farthest point sampling，最远点采样）等采样方法。对于需要的层次，对相应层次的种子点集进行特征提升，得到种子点集中每个点的多尺度特征，图6中利用了金字塔种子点学习网络的最后两个层次，可以得到两个层次的特征提升后种子点集S1和S2。步骤二的具体步骤为：（1）利用已知点云的全局特征，预测物体的初始缺失点云P0。首先，融合种子点集S1和S2的特征，并进行最大池化，得到已知点云的全局特征Fg，然后利用MLP（multilayer perceptron，多层感知机），预测得到物体的初始缺失点云P0，包含有M个点。将全局特征复制M次，并与P0中点的三维坐标融合，然后通过MLP得到P0中每个点的初始特征。（2）构建点云投票模块，优化初始缺失点云P0中点的初始特征。点云投票模块采用MLP实现，基于步骤一中得到的种子点集，先利用FPS得到M个种子点，利用每个种子点的特征进行投票，得到P0中点的特征偏移量，与P0中点的初始特征相加，得到P0中点的优化特征。（3）构建层次缺失点云投票网络，预测物体的稀疏完整点云。采用两个点云投票模块，构建层次缺失点云投票网络。将步骤一中得到的种子点集S1和S2分别输入到两个点云投票模块，依次在两个层次上优化P0中点的特征，最终得到缺失点云的特征。基于缺失点云的特征，利用MLP预测物体的修正缺失点云P1，包含M个点。从物体的已知点云中利用FPS选取M个点，与预测得到的缺失点云P1融合，得到物体的稀疏完整点云Ps。第三步具体步骤为：构建折叠解码网络，预测物体的稠密完整点云。折叠解码网络采用现有的FoldNet实现。将物体的稀疏完整点云Ps作为中心点，通过折叠解码网络进行解码，得到物体的稠密完整点云Pc。步骤四的具体步骤为：（1）设置损失函数，训练点云补全网络。给定物体完整的三维点云真值Pt，采用CD作为损失函数，计算预测点云与点云真值之间的距离。分别在预测的稀疏完整点云Ps和稠密完整点云Pc上计算损失，以两部分的损失和作为网络最终损失，利用梯度下降最小化最终损失，端对端地训练点云补全网络，以预测三维物体的真实完整点云。当网络的训练误差达到一个指定的较小值或者迭代次数达到指定的最大值时，训练结束。保存网络以及网络参数，用以测试。之后，还可以获得测试集用于对网络进行测试，以类别“桌子”、“船”、“飞机”为例，将ShapeNet测试集中不完整的已知点云输入到步骤四中保存的已训练好的网络中，输出的测试结果为物体的完整点云；具体结果如图7所示。
需要指出的是，本申请利用提出了一种基于投票的点云补全方法，可以利用简单的投票机制，由粗到细地预测物体的完整点云。提出了一种特征提取和提升模块，可以从已知点云中学习得到种子点集，并为种子点学习多尺度特征，为优化物体缺失点云特征提供基础。提出了一种点云投票模块，可以学习物体已知点云与缺失点云之间的本质关系，从而利用种子点特征直接优化缺失点云的特征。多个点云投票模块，可以在多个层次上，利用相应层次的种子点集生成投票，由粗到细地预测并优化物体的缺失点云。此外，融合已知点云，得到物体的完整点云，这种方式可以使算法在保证不丢失已知点云的前提下，致力于预测物体的缺失点云；另外，在实际应用中，基于投票的点云补全算法，可以从算法上弥补深度相机等三维扫描设备的不足，得到表示三维物体的高质量三维点云，为虚拟现实、元宇宙等技术的发展提供基础；另外，本申请中提出的基于投票的点云补全方法，不仅可以适用于补全三维扫描设备得到的不完整物体点云，还适用于优化基于点云的三维重建算法得到的不完整点云重建结果。
参见图8所示，本申请实施例公开了一种点云补全装置，应用于预先设置的点云补全网络，包括：
筛选模块11，用于从目标对象的所有已知点云中筛选出第一目标点云，以获取包含目标多尺度特征的目标点云集；
第一预测模块12，用于基于所述目标多尺度特征得到所有所述已知点云对应的全局特征，并基于所述全局特征预测所述目标对象的初始缺失点云，然后获取所述初始缺失点云的点云特征；
第二预测模块13，用于利用所述目标多尺度特征对所述初始缺失点云的点云特征进行优化以得到优化后点云特征，并基于所述优化后点云特征预测所述目标对象的优化后缺失点云；
完整点云获取模块14，用于从所述已知点云中选取第二目标点云，并将所述第二目标点云和所述优化后缺失点云进行融合以得到稀疏完整点云，然后基于所述稀疏完整点云获取所述目标对象的稠密完整点云。
其中，关于上述各个模块更加具体的工作过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
可见，本申请从目标对象的所有已知点云中筛选出第一目标点云，以获取包含目标多尺度特征的目标点云集；基于所述目标多尺度特征得到所有所述已知点云对应的全局特征，并基于所述全局特征预测所述目标对象的初始缺失点云，并获取所述初始缺失点云的点云特征；利用所述目标多尺度特征对所述初始缺失点云的点云特征进行优化以得到优化后点云特征，并基于所述优化后点云特征预测所述目标对象的优化后缺失点云；从所述已知点云中选取第二目标点云，并将所述第二目标点云和所述优化后缺失点云进行融合以得到稀疏完整点云，然后基于所述稀疏完整点云获取所述目标对象的稠密完整点云。由此可见，本申请从已知点云中筛选得到第一目标点云。利用第一目标点云进行后续操作，考虑到了目标对象的局部的细节特征，提高了点云预测的准确性；本申请基于所述全局特征预测所述目标对象的初始缺失点云，并利用所述目标多尺度特征对所述初始缺失点云的点云特征进行优化以得到优化后点云特征，此优化过程建立了已知点云与缺失点云之间的本质关系，提高了点云预测的准确性。
进一步的，本申请实施例还提供了一种电子设备，图9是根据一示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本申请的使用范围的任何限制。
图9为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、输入输出接口24、通信接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任意实施例公开的点云补全方法的相关步骤。
本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口25能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口24，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，存储器22作为可以包括作为运行内存的随机存取存储器和用于外部内存的存储用途的非易失性存储器，其上的存储资源包括操作系统221、计算机程序222等，存储方式可以是短暂存储或者永久存储。
其中，操作系统221用于管理与控制源主机上电子设备20上的各硬件设备以及计算机程序222，操作系统221可以是Windows、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的点云补全方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。
本实施例中，所述输入输出接口24具体可以包括但不限于USB接口、硬盘读取接口、串行接口、语音输入接口、指纹输入接口等。
进一步的，本申请实施例还公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的点云补全方法。
关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。
这里所说的计算机可读存储介质包括随机存取存储器(Random Access Memory，RAM)、内存、只读存储器(Read-Only Memory，ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、磁碟或者光盘或技术领域内所公知的任意其他形式的存储介质。其中，所述计算机程序被处理器执行时实现前述点云补全方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的点云补全方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种点云补全方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (15)
1.一种点云补全方法，其特征在于，应用于预先设置的点云补全网络，包括：
从目标对象的所有已知点云中筛选出第一目标点云，以获取包含目标多尺度特征的目标点云集；
基于所述目标多尺度特征得到所有所述已知点云对应的全局特征，并基于所述全局特征预测所述目标对象的初始缺失点云，然后获取所述初始缺失点云的点云特征；
利用所述目标多尺度特征对所述初始缺失点云的点云特征进行优化以得到优化后点云特征，并基于所述优化后点云特征预测所述目标对象的优化后缺失点云；
从所述已知点云中选取第二目标点云，并将所述第二目标点云和所述优化后缺失点云进行融合以得到稀疏完整点云，然后基于所述稀疏完整点云获取所述目标对象的稠密完整点云；
其中，所述利用所述目标多尺度特征对所述初始缺失点云的点云特征进行优化以得到优化后点云特征，包括：
若存在不同的若干所述目标点云集，则将所述初始缺失点云的点云特征作为当前点云特征，并从所述目标点云集中选取点云数目最少的所述目标点云集作为当前点云集；
利用所述当前点云集中的所述目标多尺度特征对所述当前点云特征进行优化得到目标点云特征；
将所述目标点云特征作为所述当前点云特征，并从未选取的所述目标点云集中选取点云数目最少的所述目标点云集作为所述当前点云集，然后跳转至所述利用所述当前点云集中的所述目标多尺度特征对所述当前点云特征进行优化得到目标点云特征的步骤，直至不存在未选取的所述目标点云集，以得到优化后点云特征。
2.根据权利要求1所述的点云补全方法，其特征在于，所述从目标对象的所有已知点云中筛选出第一目标点云，以获取包含目标多尺度特征的目标点云集，包括：
从目标对象的所有已知点云中筛选出第一目标点云；
选取所述第一目标点云对应的第一邻域和第二邻域，并分别融合所述第一邻域和所述第二邻域中各个所述第一目标点云的原始特征得到第一特征和第二特征；
将所述第一特征和所述第二特征相加得到待提升多尺度特征，并对所述待提升多尺度特征进行特征提升以获取包含所述目标多尺度特征的目标点云集。
3.根据权利要求2所述的点云补全方法，其特征在于，所述选取所述第一目标点云对应的第一邻域和第二邻域，包括：
计算所述第一目标点云的点云坐标对应的欧式距离，并基于所述欧式距离选取所述第一目标点云对应的第一邻域和第二邻域。
4.根据权利要求2所述的点云补全方法，其特征在于，所述对所述待提升多 尺度特征进行特征提升，包括：
利用自注意力机制对所述待提升多 尺度特征进行特征提升。
5.根据权利要求1所述的点云补全方法，其特征在于，所述基于所述目标多尺度特征得到所有所述已知点云对应的全局特征，包括：
对所述目标多尺度特征进行最大池化以得到所有所述已知点云对应的全局特征。
6.根据权利要求5所述的点云补全方法，其特征在于，所述对所述目标多尺度特征进行最大池化以得到所有所述已知点云对应的全局特征，包括：
若存在不同的若干所述目标点云集，则将不同所述目标点云集之间的所述目标多尺度特征进行融合以得到融合后多尺度特征，并对所述融合后多尺度特征进行最大池化以得到所有所述已知点云对应的全局特征。
7.根据权利要求5所述的点云补全方法，其特征在于，所述获取所述初始缺失点云的点云特征，包括：
将所述全局特征分别与每个所述初始缺失点云的三维坐标进行融合得到融合后特征，并基于所述融合后特征获取每个所述初始缺失点云的点云特征。
8.根据权利要求1所述的点云补全方法，其特征在于，所述利用所述当前点云集中的所述目标多尺度特征对所述当前点云特征进行优化得到目标点云特征，包括：
从所述当前点云集中选取出第三目标点云，利用所述第三目标点云进行点云投票以获取所述当前点云特征对应的所述初始缺失点云的特征偏移量；
将所述当前点云特征和相应的所述特征偏移量相加，以对所述当前点云特征进行优化得到所述初始缺失点云的目标点云特征。
9.根据权利要求1所述的点云补全方法，其特征在于，所述基于所述稀疏完整点云获取所述目标对象的稠密完整点云之后，还包括：
确定所述目标对象的真实完整点云，计算所述真实完整点云与所述稀疏完整点云之间的第一损失，以及所述真实完整点云与所述稠密完整点云之间的第二损失；
将所述第一损失和所述第二损失相加得到目标损失，并利用所述目标损失训练预先设置的所述点云补全网络。
10.根据权利要求9所述的点云补全方法，其特征在于，所述利用所述目标损失训练预先设置的所述点云补全网络，包括：
利用所述目标损失，并基于梯度下降算法修改所述点云补全网络中的各网络参数，然后利用修改后的所述点云补全网络计算新损失，并将所述新损失作为所述目标损失；
跳转至所述利用所述目标损失，并基于梯度下降算法修改所述点云补全网络中的各网络参数的步骤，直至满足预设条件，然后保存最终修改后的所述点云补全网络。
11.根据权利要求10所述的点云补全方法，其特征在于，所述预设条件为所述目标损失不大于第一预设阈值或修改次数不小于第二预设阈值。
12.根据权利要求1至11任一项所述的点云补全方法，其特征在于，所述基于所述优化后点云特征预测所述目标对象的优化后缺失点云，包括：
利用多层感知机，并基于所述优化后点云特征预测所述目标对象的优化后缺失点云。
13.一种点云补全装置，其特征在于，应用于预先设置的点云补全网络，包括：
筛选模块，用于从目标对象的所有已知点云中筛选出第一目标点云，以获取包含目标多尺度特征的目标点云集；
第一预测模块，用于基于所述目标多尺度特征得到所有所述已知点云对应的全局特征，并基于所述全局特征预测所述目标对象的初始缺失点云，然后获取所述初始缺失点云的点云特征；
第二预测模块，用于利用所述目标多尺度特征对所述初始缺失点云的点云特征进行优化以得到优化后点云特征，并基于所述优化后点云特征预测所述目标对象的优化后缺失点云；
完整点云获取模块，用于从所述已知点云中选取第二目标点云，并将所述第二目标点云和所述优化后缺失点云进行融合以得到稀疏完整点云，然后基于所述稀疏完整点云获取所述目标对象的稠密完整点云；
其中，所述第二预测模块，具体用于若存在不同的若干所述目标点云集，则将所述初始缺失点云的点云特征作为当前点云特征，并从所述目标点云集中选取点云数目最少的所述目标点云集作为当前点云集；
利用所述当前点云集中的所述目标多尺度特征对所述当前点云特征进行优化得到目标点云特征；
将所述目标点云特征作为所述当前点云特征，并从未选取的所述目标点云集中选取点云数目最少的所述目标点云集作为所述当前点云集，然后跳转至所述利用所述当前点云集中的所述目标多尺度特征对所述当前点云特征进行优化得到目标点云特征的步骤，直至不存在未选取的所述目标点云集，以得到优化后点云特征。
14.一种电子设备，其特征在于，包括处理器和存储器；其中，所述处理器执行所述存储器中保存的计算机程序时实现如权利要求1至12任一项所述的点云补全方法。
15.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现如权利要求1至12任一项所述的点云补全方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210785669.0A CN114842180B (zh) | 2022-07-06 | 2022-07-06 | 一种点云补全方法、装置、设备及介质 |
| PCT/CN2023/081451 WO2024007616A1 (zh) | 2022-07-06 | 2023-03-14 | 一种点云补全方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210785669.0A CN114842180B (zh) | 2022-07-06 | 2022-07-06 | 一种点云补全方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114842180A CN114842180A (zh) | 2022-08-02 |
| CN114842180B true CN114842180B (zh) | 2022-12-02 |
Family
ID=82575337
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210785669.0A Active CN114842180B (zh) | 2022-07-06 | 2022-07-06 | 一种点云补全方法、装置、设备及介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114842180B (zh) |
| WO (1) | WO2024007616A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114842180B (zh) * | 2022-07-06 | 2022-12-02 | 山东海量信息技术研究院 | 一种点云补全方法、装置、设备及介质 |
| CN115439694A (zh) * | 2022-09-19 | 2022-12-06 | 南京邮电大学 | 一种基于深度学习的高精度点云补全方法及装置 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112215881A (zh) * | 2020-10-12 | 2021-01-12 | 北京大学深圳研究生院 | 一种衡量缺失点云覆盖度的点云补全测评方法 |
| WO2022096944A1 (en) * | 2021-04-15 | 2022-05-12 | Sensetime International Pte. Ltd. | Method and apparatus for point cloud completion, network training method and apparatus, device, and storage medium |
| CN113706686B (zh) * | 2021-07-09 | 2023-07-21 | 苏州浪潮智能科技有限公司 | 一种三维点云重建结果补全方法及相关组件 |
| CN113850916A (zh) * | 2021-09-26 | 2021-12-28 | 浪潮电子信息产业股份有限公司 | 模型训练、点云缺失补全方法、装置、设备及介质 |
| CN114332302A (zh) * | 2021-12-02 | 2022-04-12 | 广东工业大学 | 一种基于多尺度自注意力网络的点云补全系统及方法 |
| CN114331883A (zh) * | 2021-12-22 | 2022-04-12 | 杭州电子科技大学 | 一种基于局部协方差优化的点云补全方法 |
| CN114419258B (zh) * | 2022-03-29 | 2022-07-15 | 苏州浪潮智能科技有限公司 | 一种三维物体形状的补全方法、装置、设备及存储介质 |
| CN114842180B (zh) * | 2022-07-06 | 2022-12-02 | 山东海量信息技术研究院 | 一种点云补全方法、装置、设备及介质 |
-
2022
- 2022-07-06 CN CN202210785669.0A patent/CN114842180B/zh active Active
-
2023
- 2023-03-14 WO PCT/CN2023/081451 patent/WO2024007616A1/zh unknown
Also Published As
| Publication number | Publication date |
|---|---|
| CN114842180A (zh) | 2022-08-02 |
| WO2024007616A1 (zh) | 2024-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114842180B (zh) | 一种点云补全方法、装置、设备及介质 | |
| CN109212617B (zh) | 电成像测井相自动识别方法及装置 | |
| CN108399428B (zh) | 一种基于迹比准则的三元组损失函数设计方法 | |
| CN110210513B (zh) | 数据分类方法、装置及终端设备 | |
| CN110738697A (zh) | 基于深度学习的单目深度估计方法 | |
| CN108734210B (zh) | 一种基于跨模态多尺度特征融合的对象检测方法 | |
| CN109284280B (zh) | 仿真数据优化方法、装置及存储介质 | |
| CN113850916A (zh) | 模型训练、点云缺失补全方法、装置、设备及介质 | |
| CN110766038B (zh) | 无监督式的地貌分类模型训练和地貌图构建方法 | |
| AU2021101142A4 (en) | Method and System for Constructing Digital Rock | |
| CN109284779A (zh) | 基于深度全卷积网络的物体检测方法 | |
| CN114092697B (zh) | 注意力融合全局和局部深度特征的建筑立面语义分割方法 | |
| CN111723780A (zh) | 基于高分辨率遥感图像的跨域数据的定向迁移方法及系统 | |
| CN111626349A (zh) | 一种基于深度学习的目标检测方法和系统 | |
| CN114758337B (zh) | 一种语义实例重建方法、装置、设备及介质 | |
| CN113487610B (zh) | 疱疹图像识别方法、装置、计算机设备和存储介质 | |
| Jiang et al. | Local and global structure for urban ALS point cloud semantic segmentation with ground-aware attention | |
| CN112668608A (zh) | 一种图像识别方法、装置、电子设备及存储介质 | |
| CN117173568A (zh) | 目标检测模型训练方法和目标检测方法 | |
| CN114330588A (zh) | 一种图片分类方法、图片分类模型训练方法及相关装置 | |
| CN108664860A (zh) | 房间平面图的识别方法及装置 | |
| CN114896067A (zh) | 任务请求信息的自动生成方法、装置、计算机设备及介质 | |
| CN117217368A (zh) | 预测模型的训练方法、装置、设备、介质及程序产品 | |
| CN111339919B (zh) | 一种基于多任务协作的镜子检测方法 | |
| CN115618043B (zh) | 文本操作图互检方法及模型训练方法、装置、设备、介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |