CN114419258A - 一种三维物体形状的补全方法、装置、设备及存储介质 - Google Patents
一种三维物体形状的补全方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114419258A CN114419258A CN202210315206.8A CN202210315206A CN114419258A CN 114419258 A CN114419258 A CN 114419258A CN 202210315206 A CN202210315206 A CN 202210315206A CN 114419258 A CN114419258 A CN 114419258A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- features
- local
- dimensional
- dimensional object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000007246 mechanism Effects 0.000 claims description 31
- 230000004927 fusion Effects 0.000 claims description 24
- 238000005070 sampling Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 12
- 239000013598 vector Substances 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种三维物体形状的补全方法、装置、设备及存储介质；在本方案中，针对三维物体的不完整三维点云，可通过点云编码器和点云解码器补全出完整的三维物体形状；并且，本方案中的点云编码器可获得三维点云在不同分辨率下的点云局部特征及点云非局部特征，并对不同分辨率下的特征进行融合后获得点云多尺度特征，通过该方式，可让点云多尺度特征中具有不同尺度的点云局部特征及点云非局部特征，提高特征的多样性及质量，以便点云解码器通过点云多尺度特征得到更为完整的三维物体形状，提高三维物体的形状补全效果。
Description
技术领域
本发明涉及形状补全技术领域，更具体地说，涉及一种三维物体形状的补全方法、装置、设备及存储介质。
背景技术
三维物体形状补全是指从不完整的输入中恢复完整的三维物体形状。三维点云是表示三维物体形状的三维坐标点的集合，可以利用深度相机等设备扫描得到，且具有强大的表达能力，被广泛应用于表示三维物体。但是，由于物体间相互遮挡、硬件设备技术限制等原因，扫描得到的三维物体形状存在孔洞或形状结构的缺失。
目前基于点云的三维物体形状补全工作的典型做法是：利用三维卷积等从输入点云中捕捉点云局部特征，并利用最大池化等学习输入点云的全局特征，然后对全局特征进行解码，预测缺失点云，恢复完整的三维物体形状。但是，上述做法存在以下问题：首先，三维点云是无序且不规则的，很难设计高效的网络来学习点云特征；而且，利用逐点操作或者三维卷积只能学习点云的局部特征，忽略了点与点之间的关系以及点云的非局部特征；其次，只利用全局特征来预测生成完整的三维物体形状，不可避免地导致生成的形状缺失局部几何信息，降低补全效果。
因此，如何提高三维物体的形状补全效果，是本领域技术人员需要解决的问题。
发明内容
本发明的目的在于提供一种三维物体形状的补全方法、装置、设备及存储介质，以提高三维物体的形状补全效果。
为实现上述目的，本发明提供一种三维物体形状的补全方法，包括：
获取三维物体的三维点云；
将所述三维点云输入点云编码器，通过所述点云编码器从不同分辨率下的三维点云中提取点云局部特征及点云非局部特征，并对不同分辨率下的点云局部特征及点云非局部特征进行融合获得点云多尺度特征；
将所述点云多尺度特征输入点云解码器，通过所述点云解码器获得与所述点云多尺度特征对应的完整物体形状的初始特征，对所述初始特征进行层次性解码，预测得到与所述三维物体对应的完整三维物体形状。
其中，所述点云编码器中包括多个分支，每个分支包括预定数量的点云编码模块及分支融合模块。
其中，通过所述点云编码器从不同分辨率下的三维点云中提取点云局部特征及点云非局部特征，包括：
通过不同分支的点云编码模块，对所述三维点云执行不同分辨率的下采样操作得到每个分支的输入点云，并利用自注意力机制从每个分支的输入点云中提取点云局部特征及点云非局部特征。
其中，对不同分辨率下的点云局部特征及点云非局部特征进行融合获得点云多尺度特征，包括：
本分支的分支融合模块利用跨越注意力机制，对本分支的点云编码模块提取的点云局部特征及点云非局部特征，与另一分支的点云编码模块提取的点云局部特征及点云非局部特征进行融合，获得点云多尺度特征。
其中，通过所述点云解码器获得与所述点云多尺度特征对应的完整物体形状的初始特征，包括：
通过所述点云解码器对所述点云多尺度特征进行最大池化，得到全局特征，并复制所述全局特征至预定分辨率得到完整物体形状的初始特征。
其中，所述点云解码器中包括多个串联的点云解码模块，且所述点云解码器中的点云解码模块的数量不少于所述点云编码器中的分支数量。
其中，对所述初始特征进行层次性解码，预测得到与所述三维物体对应的完整三维物体形状，包括：
通过点云解码模块利用跨越注意力机制对所述初始特征中的缺失点云特征进行预测得到输出点云特征，并将输出点云特征转换为三维形状，修正所述三维形状的局部几何细节得到完整三维物体形状。
为实现上述目的，本发明进一步提供一种三维物体形状的补全装置，包括：
获取模块，用于获取三维物体的三维点云；
特征提取模块，用于将所述三维点云输入点云编码器，通过所述点云编码器从不同分辨率下的三维点云中提取点云局部特征及点云非局部特征；
特征融合模块，用于对不同分辨率下的点云局部特征及点云非局部特征进行融合获得点云多尺度特征；
预测模块，用于将所述点云多尺度特征输入点云解码器，通过所述点云解码器获得与所述点云多尺度特征对应的完整物体形状的初始特征，对所述初始特征进行层次性解码，预测得到与所述三维物体对应的完整三维物体形状。
为实现上述目的，本发明进一步提供一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现上述三维物体形状的补全方法的步骤。
为实现上述目的，本发明进一步提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述三维物体形状的补全方法的步骤。
通过以上方案可知，本发明实施例提供了一种三维物体形状的补全方法、装置、设备及存储介质；在本方案中，获取三维物体的三维点云后，将其输入点云编码器，通过点云编码器从不同分辨率下的三维点云中提取点云局部特征及点云非局部特征，并对不同分辨率下的点云局部特征及点云非局部特征进行融合获得点云多尺度特征；将点云多尺度特征输入点云解码器，通过点云解码器获得与点云多尺度特征对应的完整物体形状的初始特征，对初始特征进行层次性解码，预测得到与三维物体对应的完整三维物体形状。
可见，在本方案中，针对三维物体的不完整三维点云，可通过点云编码器和点云解码器补全出完整的三维物体形状；并且，本方案中的点云编码器可获得三维点云在不同分辨率下的点云局部特征及点云非局部特征，并对不同分辨率下的特征进行融合后获得点云多尺度特征，通过该方式，可让点云多尺度特征中具有不同尺度的点云局部特征及点云非局部特征，提高特征的多样性及质量，以便点云解码器通过点云多尺度特征得到更为完整的三维物体形状，提高三维物体的形状补全效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例公开的一种基于三维物体形状补全网络的三维物体形状补全方法示意图；
图2为本发明实施例公开的三维物体形状补全结果示意图；
图3为本发明实施例公开的一种三维物体形状的补全方法流程示意图；
图4为本发明实施例公开的一种点云编码器结构示意图；
图5为本发明实施例公开的一种分支融合模块结构示意图；
图6为本发明实施例公开的一种点云解码模块结构示意图；
图7为本发明实施例公开的一种三维物体形状的补全装置结构示意图；
图8为本发明实施例公开的一种电子设备结构示意图。
具体实施方式
目前通过深度相机等设备扫描得到的三维物体形状存在缺失，且现有的基于三维点云的三维物体形状补全方法未能充分学习三维点云局部和非局部特征，因此，本发明公开了一种三维物体形状的补全方法、装置、设备及存储介质，以生成平滑、完整的三维物体形状，提高三维物体的形状补全效果。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明主要基于三维物体形状补全网络获得完整的三维物体形状，为了更加清楚的对本方案进行说明，首先对三维物体形状补全网络进行说明。参见图1，为本实施例提供的一种基于三维物体形状补全网络的三维物体形状补全方法示意图。通过图1可以看出，该三维物体形状补全网络主要包括点云编码器及点云解码器，并且该网络在实际应用之前，首先需要通过训练数据对其进行训练，在满足需求后才能将训练后的网络进行实际应用。在本实施例中，可以三维物体形状补全数据集ShapeNet 为例对网络进行训练，该ShapeNet数据集包含飞机、汽车、椅子等8个类别，一共有30974个三维点云模型，抽取100个模型作为验证集，150个模型作为测试集，剩下的模型作为训练集。对于每个三维点云模型，随机从8个视角采样得到不完整的三维点云，作为不完整的输入点云，具体实现过程包括以下几个步骤：
1）构建多分支多层次点云编码器，学习输入点云的多尺度特征表示。
通过图1可以看出，在本实施例中，点云编码器具有多个分支，每个分支中设置了不同数量的点云编码模块及分支融合模块，其中，该分支数量、点云编码模块的数量及分支融合模块的数量可以根据经验或者实验效果进行自定义设置，在此并不具体限定，但是在每个分支中，必须设置至少一个点云编码模块，在需要融合数据的两个分支中，需要在其中一个分支中设置一个分支融合模块。如图1所示，本申请中的点云编码器中共具有三个分支，第一个分支中设置两个点云编码模块，第二个分支中设置了两个点云编码模块及一个分支融合模块，第三个分支中设置了一个点云编码模块及一个分支融合模块，可以看出，每个分支中至少设置了一个点云编码模块，由于第一个分支与第二个分支需要融合数据，第二个分支与第三个分支需要融合数据，因此在第二个分支和第三个分支中均需设置一个分支融合模块。
2）构建多层次全局-局部点云解码器，预测完整的三维物体形状。
通过图1可以看出，在本实施例中，点云解码器包括通过串联方式连接的多个全局-局部点云解码模块，并且，本实施例并不具体限定点云解码模块的数量，但是为了让编码阶段输出的特征在解码阶段充分利用，可以设置点云解码器中的点云解码模块的数量不少于点云编码器中的分支数量，一般情况下，可设置点云解码模块的数量与点云编码器中的分支数量相同，如图1所示，点云编码器具有三个分支，点云解码器包括三个点云解码模块。
3）设置损失函数，训练三维物体形状补全网络。
在本实施例中，给定完整三维物体形状的点云真值后，可采用CD（ChamferDistance，倒角距离）作为损失函数，计算预测点云与点云真值之间的距离，具体计算公式为：
其中，
为损失函数值，
和
分别表示预测点云和点云真值，x表示点云
中的某个点，y表示点云
中的某个点。
在本实施例中，利用梯度下降最小化损失函数值，端对端的训练三维物体形状补全网络，预测完整的三维物体形状。当网络的训练误差达到一个指定的较小值，或者迭代次数达到指定的最大值时，训练结束。保存网络以及网络参数，用以测试，参见图2，为本发明实施例提供的三维物体形状补全结果示意图，在图2中，具体是以类别“飞机”、“汽车”为例，将ShapeNet测试集中不完整的三维点云输入到已训练好的网络中，输出的测试结果为完整的三维物体形状。
参见图3，本发明实施例提供的一种三维物体形状的补全方法流程示意图，该方法包括：
S101、获取三维物体的三维点云；
具体来说，本实施例中的三维点云为利用深度相机等设备扫描三维物体得到的，该三维点云表示该三维物体形状的三维坐标点的集合。
S102、将三维点云输入点云编码器，通过点云编码器从不同分辨率下的三维点云中提取点云局部特征及点云非局部特征，并对不同分辨率下的点云局部特征及点云非局部特征进行融合获得点云多尺度特征；
如图1所示，本实施例中的点云编码器中包括多个分支，每个分支包括预定数量的点云编码模块及分支融合模块；因此本申请将三维点云输入点云编码器执行S102时，具体是通过不同分支的点云编码模块，对三维点云执行不同分辨率的下采样操作得到每个分支的输入点云，并利用自注意力机制从每个分支的输入点云中提取点云局部特征及点云非局部特征；进一步，本分支的分支融合模块利用跨越注意力机制，对本分支的点云编码模块提取的点云局部特征及点云非局部特征，与另一分支的点云编码模块提取的点云局部特征及点云非局部特征进行融合，获得点云多尺度特征。
具体来说，参见图4，为本发明实施例提供的一种点云编码器结构示意图，通过图4可以看出，每个点云编码模块包含下采样层、点云特征提取层和自注意力层。其中，下采样层采用FPS（Farthest Point Sampling，最远点采样法）对三维点云进行下采样，得到更低分辨率的点云，如图1所示，共有三个分支，每个分支中的点云编码模块均通过模块内的下采样层对输入的三维点云执行下采样操作，不同分支的下采样层通过FPS将三维点云下采样至三个不同的分辨率，如：若S101中获取的三维点云包含2048个点，则第一个分支的下采样层可利用FPS下采样得到1024个点，作为第一个分支的输入点云，第二个分支的下采样层可利用FPS下采样得到512个点，作为第二个分支的输入点云，第三个分支的下采样层可利用FPS下采样得到256个点，作为第三个分支的输入点云。
进一步，每个点云编码器采用PointNet++作为点云特征提取层提取点云局部特征，每个点云编码器采用自注意力层，学习点云中点与点之间的关系，提取点云非局部特征。需要说明的是，全局特征是指所有点云的特征，点云局部特征是指单个点的特征，点云非局部特征是指一定数量（非全部）点的特征，如：点云中包含100个点，则全局特征是指100个点融合在一起的特征，点云局部特征是指单个点的特征，点云非局部特征是指10个点的特征。本申请利用自注意力机制可有效学习点云的非局部特征表示，但是自注意力机制的计算量随点数增加而指数增加，因此本申请通过FPS将三维点云下采样至较低的分辨率，通过减少点云数目的方式，减小计算量以及网络的规模。并且，本申请为了避免因为点云数目减少而降低提取的点云特征质量，还利用多个分支多个层次学习点云特征，提高特征的多样性，提高特征的质量。而且，多分支多层次的结构还可以避免噪声对于FPS的影响。
需要说明的是，本申请在每个分支中，可设置多个点云编码模块，每经过一个点云编码模块，就可以学习一次点云中点之间的关系，使得特征逐渐抽象和冗余，最终提取出具有更高语义信息的点云特征。
参见图5，为本发明实施例提供的一种分支融合模块结构示意图，通过图5可以看出，不同分支提取出点云局部特征及点云非局部特征之后，分支融合模块利用跨越注意力层建立不同分支之间的联系，获取更高语义的点云特征，最终得到输入点云的多尺度特征表示。如图1所示，第二个分支的分支融合模块利用跨越注意力机制，对第一个分支提取的点云局部特征及点云非局部特征，与本分支的第一个点云编码模块提取的点云局部特征及点云非局部特征进行融合，第三个分支的分支融合模块利用跨越注意力机制，对第二个分支提取的点云局部特征及点云非局部特征，与本分支的点云编码模块提取的点云局部特征及点云非局部特征进行融合，最后一个分支的分支融合模块输出的特征即为点云编码器输出的点云多尺度特征。其中，在进行特征融合时，跨越注意力层将本分支的点云特征作为跨越注意力层的查询向量，将上一个分支对应层次的点云特征作为跨越注意力层的键向量和值向量，利用上一分支的点云特征更新当前分支，获取更高语义的点云特征。
S103、将点云多尺度特征输入点云解码器，通过点云解码器获得与点云多尺度特征对应的完整物体形状的初始特征，对初始特征进行层次性解码，预测得到与三维物体对应的完整三维物体形状。
其中，本申请通过点云解码器获得与点云多尺度特征对应的完整物体形状的初始特征时，具体通过点云解码器对点云多尺度特征进行最大池化得到全局特征，并复制全局特征至预定分辨率得到完整物体形状的初始特征。
具体来说，在上述S102中，通过点云编码器对三维点云进行多分支多层次的降采样，并提取多尺度的点云局部特征及点云非局部特征后，可将最后一个分支的最后一个层次得到的点云多尺度特征进行最大池化，最大池化可将得到的所有点云特征在每个维度上取最大值，得到对应的特征向量，通过该特征向量可以表示整个点云的全局特征。由于本申请在编码阶段获得的全局特征是一个向量，因此在解码阶段，需要通过增加点的数目，作为物体的初始特征，以便进行后续处理。在增加点的数目时，可通过复制全局特征至预定分辨率的方式，得到完整物体形状的初始特征表示。其中，该预定分辨率可根据经验自定义设置，在此并不具体限定。
在本实施例中，点云解码器中包括多个串联的点云解码模块，与点云编码器相对应，点云解码器也采用多层次结构；点云解码器以完整物体形状的初始特征为输入，通过多个点云解码模块，不断增加点云数目，在多个尺度上优化完整物体形状的特征表示。并且，点云解码器对初始特征进行层次性解码，预测得到与三维物体对应的完整三维物体形状时，具体通过点云解码模块利用跨越注意力机制对初始特征中的缺失点云特征进行预测得到输出点云特征，并将输出点云特征转换为三维形状，修正三维形状的局部几何细节得到完整三维物体形状。
参见图6，为本发明实施例提供的一种点云解码模块结构示意图，通过图6可以看出，该点云解码模块包含基于跨越注意力机制的解码块，整体结构预测块和局部细节修正块；其中，基于跨越注意力机制的解码块利用跨越注意力机制，在点云编码器与点云解码器的对应层次上建立联系，将点云编码器输出的点云特征有选择地传递到解码器，使得解码器在预测缺失点云特征的同时保留有利的已知点云特征。整体结构预测块包括全局折叠层和自注意力层，给定一个固定大小的2D平面，并对该2D平面采样得到固定分辨率的2D网格，与基于跨越注意力机制的解码块输出的点云特征进行连接，作为全局折叠层的输入，全局折叠层采用全局折叠的方式将带有点云特征的2D网格折叠成3D形状，得到完整三维物体整体几何结构的特征表示；自注意力层在解码过程中不断生成更好的点云特征，从而可以预测完整的物体形状。局部细节修正块包含局部折叠层，对点云中的每个点，给定局部2D网格，利用局部折叠的方式将局部2D网格折叠成3D形状，修正完整物体形状的局部几何细节。多个整体结构预测块可以对固定大小的2D平面进行多分辨率的采样，得到由粗到细的多个分辨率的2D网格，通过全局折叠的方式，不断预测更稠密的完整物体形状的整体结构；在每个整体结构预测块后添加局部细节修正块，可以修正完整物体形状的局部几何细节，得到更加平滑的形状。
可以理解的是，目前虽然有使用跨越注意力机制预测缺失点云，以及通过注意力机制提取点云特征和预测缺失点云，但是前者并不能提取点云的非局部特征，后者只能应用单一点云分辨率。而在本申请中，设置了多分支多层次结构，通过注意力机制及跨越注意力机制可提取不同尺度的点云局部特征及点云非局部特征，进而学习不同尺度特征，提高特征的多样性，提高特征的质量，通过该方式，使得本申请可生成完整平滑的三维物体形状。
综上可以看出，在本方案中，采用多分支多层次结构，嵌入自注意力机制，在同分支同层次上学习点与点之间的关系；并利用跨越注意力机制学习不同分支上点与点之间的关系，最终得到多个尺度的点云局部特征和点云非局部特征，有效避免了噪声对采样的影响，同时提高了点云特征的质量。在生成点云时，可在多个尺度上生成具有全局一致性的完整三维物体整体结构，并不断优化完整形状的局部几何细节，从而得到更加平滑的形状。此外，本申请利用跨越注意力机制有选择地传递已知点云的全局以及局部信息到解码模块，可以保留已知点云信息，同时为预测缺失点云提供先验信息。在实际应用中，本申请所述的三维物体形状补全方案可以弥补深度相机、雷达等三维扫描设备的不足，优化得到完整的三维物体形状。此外，三维物体形状补全可以为虚拟现实、增强现实等领域提供高质量的三维物体形状表示，作为对三维空间进行智能感知与理解的基础。
下面对本发明实施例提供的补全装置、设备及介质进行介绍，下文描述的补全装置、设备及介质与上文描述的补全方法可以相互参照。
参见图7，本发明实施例提供的一种三维物体形状的补全装置结构示意图，包括：
获取模块11，用于获取三维物体的三维点云；
特征提取模块12，用于将所述三维点云输入点云编码器，通过所述点云编码器从不同分辨率下的三维点云中提取点云局部特征及点云非局部特征；
特征融合模块13，用于对不同分辨率下的点云局部特征及点云非局部特征进行融合获得点云多尺度特征；
预测模块14，用于将点云多尺度特征输入点云解码器，通过所述点云解码器获得与所述点云多尺度特征对应的完整物体形状的初始特征，对所述初始特征进行层次性解码，预测得到与所述三维物体对应的完整三维物体形状。
其中，所述点云编码器中包括多个分支，每个分支包括预定数量的点云编码模块及分支融合模块。
其中，特征提取模块具体用于：通过不同分支的点云编码模块，对所述三维点云执行不同分辨率的下采样操作得到每个分支的输入点云，并利用自注意力机制从每个分支的输入点云中提取点云局部特征及点云非局部特征。
其中，所述特征融合模块具体用于：通过本分支的分支融合模块利用跨越注意力机制，对本分支的点云编码模块提取的点云局部特征及点云非局部特征，与另一分支的点云编码模块提取的点云局部特征及点云非局部特征进行融合，获得点云多尺度特征。
其中，所述预测模块具体用于：通过所述点云解码器对所述点云多尺度特征进行最大池化，得到全局特征，并复制所述全局特征至预定分辨率得到完整物体形状的初始特征。
其中，所述点云解码器中包括多个串联的点云解码模块，且所述点云解码器中的点云解码模块的数量不少于所述点云编码器中的分支数量。
其中，所述预测模块具体用于：通过点云解码模块利用跨越注意力机制对所述初始特征中的缺失点云特征进行预测得到输出点云特征，并将输出点云特征转换为三维形状，修正所述三维形状的局部几何细节得到完整三维物体形状。
参见图8，本发明实施例还提供了一种电子设备结构示意图，包括：
存储器21，用于存储计算机程序；
处理器22，用于执行所述计算机程序时实现上述方法实施例所述的三维物体形状的补全方法的步骤。
在本实施例中，设备可以是PC（Personal Computer，个人电脑），也可以是智能手机、平板电脑、掌上电脑、便携计算机等终端设备。
该设备可以包括存储器21、处理器22和总线23。
其中，存储器21至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器（例如，SD或DX存储器等）、磁性存储器、磁盘、光盘等。存储器21在一些实施例中可以是设备的内部存储单元，例如该设备的硬盘。存储器21在另一些实施例中也可以是设备的外部存储设备，例如设备上配备的插接式硬盘，智能存储卡（SmartMedia Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。进一步地，存储器21还可以既包括设备的内部存储单元也包括外部存储设备。存储器21不仅可以用于存储安装于设备的应用软件及各类数据，例如执行补全方法的程序代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
处理器22在一些实施例中可以是一中央处理器（Central Processing Unit,CPU）、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器21中存储的程序代码或处理数据，例如执行补全方法的程序代码等。
该总线23可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
进一步地，设备还可以包括网络接口24，网络接口24可选的可以包括有线接口和/或无线接口（如WI-FI接口、蓝牙接口等），通常用于在该设备与其他电子设备之间建立通信连接。
可选地，该设备还可以包括用户接口25，用户接口25可以包括显示器（Display）、输入单元比如键盘（Keyboard），可选的用户接口25还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在设备中处理的信息以及用于显示可视化的用户界面。
图8仅示出了具有组件21-25的设备，本领域技术人员可以理解的是，图8示出的结构并不构成对设备的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法实施例所述的三维物体形状的补全方法的步骤。
其中，该存储介质可以包括：U盘、移动硬盘、只读存储器（Read-Only Memory ，ROM）、随机存取存储器（Random Access Memory ，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
综上可见，本申请采用编码器-解码器结构，充分利用自注意力和跨越注意力机制，在多个层次上提取点云特征，利用得到的特征，在多个层次上优化预测完整的三维物体形状。其中，编码器采用多分支多层次结构，嵌入自注意力机制，在同分支同层次上学习点与点之间的关系；并利用跨越注意力机制学习不同分支上点与点之间的关系，最终得到多个尺度的点云局部和非局部特征。解码器在多个尺度上生成具有全局一致性的点云形状，并不断优化完整形状的局部几何细节。此外，在点云生成过程中嵌入跨越注意力机制，保留已知点云信息，同时为预测缺失点云提供先验信息。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种三维物体形状的补全方法，其特征在于，包括：
获取三维物体的三维点云；
将所述三维点云输入点云编码器，通过所述点云编码器从不同分辨率下的三维点云中提取点云局部特征及点云非局部特征，并对不同分辨率下的点云局部特征及点云非局部特征进行融合获得点云多尺度特征；
将所述点云多尺度特征输入点云解码器，通过所述点云解码器获得与所述点云多尺度特征对应的完整物体形状的初始特征，对所述初始特征进行层次性解码，预测得到与所述三维物体对应的完整三维物体形状。
2.根据权利要求1所述的补全方法，其特征在于，所述点云编码器中包括多个分支，每个分支包括预定数量的点云编码模块及分支融合模块。
3.根据权利要求2所述的补全方法，其特征在于，通过所述点云编码器从不同分辨率下的三维点云中提取点云局部特征及点云非局部特征，包括：
通过不同分支的点云编码模块，对所述三维点云执行不同分辨率的下采样操作得到每个分支的输入点云，并利用自注意力机制从每个分支的输入点云中提取点云局部特征及点云非局部特征。
4.根据权利要求3所述的补全方法，其特征在于，对不同分辨率下的点云局部特征及点云非局部特征进行融合获得点云多尺度特征，包括：
本分支的分支融合模块利用跨越注意力机制，对本分支的点云编码模块提取的点云局部特征及点云非局部特征，与另一分支的点云编码模块提取的点云局部特征及点云非局部特征进行融合，获得点云多尺度特征。
5.根据权利要求1所述的补全方法，其特征在于，通过所述点云解码器获得与所述点云多尺度特征对应的完整物体形状的初始特征，包括：
通过所述点云解码器对所述点云多尺度特征进行最大池化，得到全局特征，并复制所述全局特征至预定分辨率得到完整物体形状的初始特征。
6.根据权利要求1所述的补全方法，其特征在于，所述点云解码器中包括多个串联的点云解码模块，且所述点云解码器中的点云解码模块的数量不少于所述点云编码器中的分支数量。
7.根据权利要求6所述的补全方法，其特征在于，对所述初始特征进行层次性解码，预测得到与所述三维物体对应的完整三维物体形状，包括：
通过点云解码模块利用跨越注意力机制对所述初始特征中的缺失点云特征进行预测得到输出点云特征，并将输出点云特征转换为三维形状，修正所述三维形状的局部几何细节得到完整三维物体形状。
8.一种三维物体形状的补全装置，其特征在于，包括：
获取模块，用于获取三维物体的三维点云；
特征提取模块，用于将所述三维点云输入点云编码器，通过所述点云编码器从不同分辨率下的三维点云中提取点云局部特征及点云非局部特征；
特征融合模块，用于对不同分辨率下的点云局部特征及点云非局部特征进行融合获得点云多尺度特征；
预测模块，用于将所述点云多尺度特征输入点云解码器，通过所述点云解码器获得与所述点云多尺度特征对应的完整物体形状的初始特征，对所述初始特征进行层次性解码，预测得到与所述三维物体对应的完整三维物体形状。
9.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述的三维物体形状的补全方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的三维物体形状的补全方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210315206.8A CN114419258B (zh) | 2022-03-29 | 2022-03-29 | 一种三维物体形状的补全方法、装置、设备及存储介质 |
| PCT/CN2022/102533 WO2023184759A1 (zh) | 2022-03-29 | 2022-06-29 | 一种三维物体形状的补全方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210315206.8A CN114419258B (zh) | 2022-03-29 | 2022-03-29 | 一种三维物体形状的补全方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114419258A true CN114419258A (zh) | 2022-04-29 |
| CN114419258B CN114419258B (zh) | 2022-07-15 |
Family
ID=81262862
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210315206.8A Active CN114419258B (zh) | 2022-03-29 | 2022-03-29 | 一种三维物体形状的补全方法、装置、设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114419258B (zh) |
| WO (1) | WO2023184759A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114842180A (zh) * | 2022-07-06 | 2022-08-02 | 山东海量信息技术研究院 | 一种点云补全方法、装置、设备及介质 |
| WO2023184759A1 (zh) * | 2022-03-29 | 2023-10-05 | 苏州浪潮智能科技有限公司 | 一种三维物体形状的补全方法、装置、设备及存储介质 |
| WO2024004722A1 (ja) * | 2022-06-28 | 2024-01-04 | 京セラ株式会社 | 電子機器、制御方法および制御プログラム |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117092612B (zh) * | 2023-10-18 | 2024-01-26 | 湘潭大学 | 基于激光雷达的自动驾驶导航方法 |
| CN117671131B (zh) * | 2023-10-20 | 2024-07-23 | 南京邮电大学 | 一种基于深度学习的工业零件三维点云修复方法及装置 |
| CN117173650B (zh) * | 2023-11-02 | 2024-01-26 | 浙江华是科技股份有限公司 | 基于激光雷达的船舶测量与识别方法及系统 |
| CN117611498B (zh) * | 2023-11-22 | 2024-08-23 | 深圳技术大学 | 一种图像补全方法、计算机以及计算机可读存储介质 |
| CN117975202B (zh) * | 2024-04-01 | 2024-07-26 | 之江实验室 | 模型训练方法、业务执行方法、装置、介质及设备 |
| CN118470515B (zh) * | 2024-07-10 | 2024-09-03 | 中国海洋大学 | 一种针对水下目标物的自监督三维点云补全方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112241997A (zh) * | 2020-09-14 | 2021-01-19 | 西北大学 | 基于多尺度点云上采样的三维模型建立、修复方法及系统 |
| CN113205104A (zh) * | 2021-04-23 | 2021-08-03 | 广西大学 | 一种基于深度学习的点云补全方法 |
| CN113538261A (zh) * | 2021-06-21 | 2021-10-22 | 昆明理工大学 | 一种基于深度学习的残缺钟乳石点云的形状修复方法 |
| CN113706686A (zh) * | 2021-07-09 | 2021-11-26 | 苏州浪潮智能科技有限公司 | 一种三维点云重建结果补全方法及相关组件 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230221698A1 (en) * | 2020-06-19 | 2023-07-13 | Hewlett-Packard Development Company, L.P. | Point cloud alignment |
| CN114419258B (zh) * | 2022-03-29 | 2022-07-15 | 苏州浪潮智能科技有限公司 | 一种三维物体形状的补全方法、装置、设备及存储介质 |
-
2022
- 2022-03-29 CN CN202210315206.8A patent/CN114419258B/zh active Active
- 2022-06-29 WO PCT/CN2022/102533 patent/WO2023184759A1/zh unknown
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112241997A (zh) * | 2020-09-14 | 2021-01-19 | 西北大学 | 基于多尺度点云上采样的三维模型建立、修复方法及系统 |
| CN113205104A (zh) * | 2021-04-23 | 2021-08-03 | 广西大学 | 一种基于深度学习的点云补全方法 |
| CN113538261A (zh) * | 2021-06-21 | 2021-10-22 | 昆明理工大学 | 一种基于深度学习的残缺钟乳石点云的形状修复方法 |
| CN113706686A (zh) * | 2021-07-09 | 2021-11-26 | 苏州浪潮智能科技有限公司 | 一种三维点云重建结果补全方法及相关组件 |
Non-Patent Citations (2)
| Title |
|---|
| 曾安等: "基于多尺度几何感知Transformer的植物点云补全网络", 《农业工程学报》 * |
| 曾安等: "基于多尺度几何感知Transformer的植物点云补全网络", 《农业工程学报》, 28 February 2022 (2022-02-28), pages 198 - 205 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023184759A1 (zh) * | 2022-03-29 | 2023-10-05 | 苏州浪潮智能科技有限公司 | 一种三维物体形状的补全方法、装置、设备及存储介质 |
| WO2024004722A1 (ja) * | 2022-06-28 | 2024-01-04 | 京セラ株式会社 | 電子機器、制御方法および制御プログラム |
| CN114842180A (zh) * | 2022-07-06 | 2022-08-02 | 山东海量信息技术研究院 | 一种点云补全方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023184759A1 (zh) | 2023-10-05 |
| CN114419258B (zh) | 2022-07-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114419258B (zh) | 一种三维物体形状的补全方法、装置、设备及存储介质 | |
| CN110020620B (zh) | 一种大姿态下的人脸识别方法、装置及设备 | |
| CN113657390B (zh) | 文本检测模型的训练方法和检测文本方法、装置和设备 | |
| CN108734210B (zh) | 一种基于跨模态多尺度特征融合的对象检测方法 | |
| JP2023541119A (ja) | 文字認識モデルのトレーニング方法、文字認識方法、装置、電子機器、記憶媒体およびコンピュータプログラム | |
| CN108734653B (zh) | 图像风格转换方法及装置 | |
| CN116310076A (zh) | 基于神经辐射场的三维重建方法、装置、设备及存储介质 | |
| CN114792355B (zh) | 虚拟形象生成方法、装置、电子设备和存储介质 | |
| CN113822232B (zh) | 一种基于金字塔注意力的场景识别方法、训练方法及装置 | |
| CN112052792A (zh) | 一种跨模型人脸识别方法、装置、设备及介质 | |
| CN114708374A (zh) | 虚拟形象生成方法、装置、电子设备和存储介质 | |
| CN115564975A (zh) | 图像的匹配方法、装置、终端设备及存储介质 | |
| CN116797768A (zh) | 全景图像减少现实的方法和装置 | |
| CN115620321A (zh) | 表格识别方法及装置、电子设备和存储介质 | |
| CN113327194A (zh) | 图像风格迁移方法、装置、设备和存储介质 | |
| CN116739901A (zh) | 一种视频超分处理方法、装置、电子设备及存储介质 | |
| CN115271055A (zh) | 一种神经网络软硬件协同检测方法、装置、设备及存储介质 | |
| CN114842153A (zh) | 从单幅二维线框图重建三维模型的方法、装置和电子设备 | |
| CN113610856B (zh) | 训练图像分割模型和图像分割的方法和装置 | |
| CN115273110A (zh) | 基于TensorRT的文本识别模型部署方法、装置、设备及存储介质 | |
| CN110929767B (zh) | 一种字形处理方法、系统、设备和介质 | |
| CN114707017A (zh) | 视觉问答方法、装置、电子设备和存储介质 | |
| CN114494284A (zh) | 一种基于显式监督区域关系的场景解析模型及方法 | |
| CN115965839A (zh) | 图像识别方法、存储介质及设备 | |
| CN116309274B (zh) | 图像中小目标检测方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |