CN113378112A - 一种基于各向异性卷积的点云补全方法及装置 - Google Patents
一种基于各向异性卷积的点云补全方法及装置 Download PDFInfo
- Publication number
- CN113378112A CN113378112A CN202110679234.3A CN202110679234A CN113378112A CN 113378112 A CN113378112 A CN 113378112A CN 202110679234 A CN202110679234 A CN 202110679234A CN 113378112 A CN113378112 A CN 113378112A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- point
- anisotropic
- cloud data
- anisotropic convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 239000013598 vector Substances 0.000 claims abstract description 36
- 238000005070 sampling Methods 0.000 claims abstract description 18
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 18
- 230000004913 activation Effects 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 4
- 239000002775 capsule Substances 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/15—Correlation function computation including computation of convolution operations
- G06F17/153—Multidimensional correlation or convolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Computation (AREA)
- Algebra (AREA)
- Evolutionary Biology (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于各向异性卷积的点云补全方法及装置，采用迭代最远点采样算法对输入的原始点云数据进行下采样，获得更小分辨率的两个点云数据，输入到各向异性卷积编码器中，提取点云数据的潜在特征，并连接所提取的三个潜在特征，使用MLP生成了最终特征向量；将最终特征向量输入到从粗糙到精细的组合金字塔解码器中，从最终特征向量中推测出点云缺失部分。本发明可以生成更多的高精度点云，而整个点云和缺失区域的点云失真更小。
Description
技术领域
本申请属于深度学习技术领域，特别是涉及了一种基于各向异性卷积的点云补全方法及装置。
背景技术
随着无人机和卫星技术的快速发展，遥感图像数量正在数以万计的增长。而建筑物作为与人类生活密切相关的一种地物，在遥感图像中占据着大量的比重。因此，高分辨率下的遥感图像中建筑物分割技术一直是研究的重点，对于城市规划，土地保护，城乡改造等都有着重大意义。而遥感图像自身的特点也使得这种分割显得格外困难。首先，遥感图像中有很多遮挡和阴影问题，这些不利因素都影响着建筑物分割算法的判断。其次遥感图像中建筑物区域都有较接近的视觉特征，给相似的感兴趣目标进行分割时有较大的难度。然后，越高的分辨率越能够为图像分割提供更精确的细节，但是这同样会带来分割时的模糊边界。最后，不同地理位置的建筑物形状外观各不相同，这需要网络具有强大的泛化能力。
由于3D点云具有无序性和非结构化，深度网络无法像卷积网络应用于2D图像一样简单地应用于3D点云。因此大多数基于深度学习方法的处理3D点云都会将3d形状表示为体积网格或基于视图的投影，然后利用3D/2D卷积运算。也有把点云表示为其他方式，如：GRNet，提出了一种基于网格的方法，该方法通过对每个网格执行三次特征采样来检索结构上下文，并使用“反向网格化”层和MLP完成输出。这些方法可能会导致不可逆的几何信息丢失。得益于之前的PointNet提出，开创了使用多层感知器直接处理点云的先河，PCN是第一个以粗糙到精细的方式在原始点云上工作的框架。最近，PF-Net保留了原始不完整点云的空间结构，并预测了一个多尺度生成网络的分层缺失点。但是，这些用MLPs模块来提取特征，未完全考虑跨点的连通性和相邻点的上下文。
发明内容
本申请的目的是提供一种基于各向异性卷积的点云补全方法及装置，克服现有技术在进行点云处理时，未完全考虑跨点的连通性和相邻点的上下文，从而造成的点云信息丢失问题。
为了实现上述目的，本申请技术方案如下：
一种基于各向异性卷积的点云补全方法，包括：
采用迭代最远点采样算法对输入的原始点云数据进行下采样，获得更小分辨率的两个点云数据；
将原始点云数据及下采样获得的两个点云数据输入到各向异性卷积编码器中，所述各向异性卷积编码器分别提取点云数据的潜在特征，并连接所提取的三个潜在特征，使用MLP生成了最终特征向量；
将各向异性卷积编码器生成的最终特征向量输入到从粗糙到精细的组合金字塔解码器中，从最终特征向量中推测出点云缺失部分。
进一步的，所述各向异性卷积编码器分别提取点云数据的潜在特征，包括：
依次经过四次各向异性卷积操作，将每次各向异性卷积操作后的中间特征进行激活函数操作，连接激活函数处理后的四个中间特征并使用MLP生成潜在特征。
进一步的，所述各向异性卷积操作，包括：
通过等面积投影方法将斐波那契晶格映射到球体表面以获得核点，计算出点云数据中的每个点与其相邻点的相邻位置，将相邻位置与所述核点做点积，然后经过激活函数得到每个点的软排列矩阵；
将点云数据中每个点与其相邻点做位置编码，连接所述位置编码与前一次各向异性卷积操作输出的中间特征，得到每个点对应的点特征向量；
将点云数据中的每个点的点特征向量与软排列矩阵做点积操作后进行常规的卷积操作，得到本次各向异性卷积操作输出的中间特征。
进一步的，其特征在于，所述将各向异性卷积编码器生成的最终特征向量输入到从粗糙到精细的组合金字塔解码器中，从最终特征向量中推测出点云缺失部分，包括：进行
将最终特征向量通过完全连接层，输出对应于输入点云三种不同分辨率的三个特征层FC1、FC2和FC3；
对特征层FC1进行预测，得到第一预测点云Ycoarse；
连接特征层FC1、FC2，对连接后的特征进行预测，得到第二预测点云Ymiddle；
连接FC1、FC2和FC3，对连接后的特征进行预测，得到第三预测点云Yfine，即为点云缺失部分。
进一步的，所述组合金字塔解码器预先训练，在预先训练时，对于每一个分辨率的点云数据，采用如下损失函数：
其中，S1是组合金字塔解码器输出的预测值，S2是真实值，x是S1中的点，y是S2中的点；
组合金字塔解码器将会预测三种不同分辨率的点云，多级补全损失表示为：
L＝dCD(Yfine,Ygt)+αdCD(Ymiddle,Y′gt)+2αdCD(Ycoarse,Y″gt)，
其中α是超参数，Ygt、Y′gt和Y″gt分别是Yfine、Ymiddle和Ycoarse所对应点云的真实值。
本申请还提出了一种基于各向异性卷积的点云补全装置，包括处理器以及存储有若干计算机指令的存储器，所述计算机指令被处理器执行时实现所述基于各向异性卷积的点云补全方法的步骤。
本申请提出的一种基于各向异性卷积的点云补全方法及装置，通过多分辨率的特征聚合策略在细节保留和潜在形状预测上均具有更好的性能。本申请各向异性卷积编码器，可以更好的提取3D物体的局部和全局特征，提高网络提取语义和几何信息。本申请组合金字塔解码器，更好的从特征图中推测出缺失的点云，它可以通过分层输出不同分辨率的点云，从而在不同分辨率下分层保留完整形状的结构。
附图说明
图1为本申请基于各向异性卷积的点云补全方法流程图；
图2为本申请编码与解码网络图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本申请提出了一个新的网络框架，在两个阶段里面来从缺失的点云中预测缺失点云。在第一阶段，采用一个新颖的多分辨率各向异性卷积编码器，从缺失的点云中更好的提取3D物体的潜特征，这些潜特征不仅包含局部和全局特征，而且还包含了低水平特征和高水平特征。在第二阶段，采用一个新颖的解码器，更好的从特征图中推测出缺失的点云。
如图1所示，本申请提出的一种基于各向异性卷积的点云补全方法，包括：
步骤S1、采用迭代最远点采样算法对输入的原始点云数据进行下采样，获得更小分辨率的两个点云数据。
对于原始点云数据N×3，其中N为点云中点的数量，3表示三维点云，原始点云数据N×3也可以表示为P＝{p1,p2,...,pN}，其中pi是其中的任意点，在欧几里得空间中包含3D坐标pi＝[xi,yi,zi]T。对于每个点，其相邻点由简单的K最近邻居(KNN)算法基于点方向的欧几里得距离进行收集，以提高效率，本实施例将第i个点的K最近邻表示为Ni＝{pi,pi,1,...,pi,K-1}。
本实施例通过迭代最远点采样(IFPS)对原始点云数据N×3进行下采样以获得更小分辨率的两个视图，分别表示为
和
s为下采样的倍数，从而得到三种分辨率的点云数据。
步骤S2、将原始点云数据及下采样获得的两个点云数据输入到各向异性卷积编码器中，所述各向异性卷积编码器分别提取点云数据的潜在特征，并连接所提取的三个潜在特征，使用MLP生成了最终特征向量。
如图2所示，三个不同分辨率的点云数据分别进行处理，对于每个点云数据，提取点云数据的潜在特征，做如下操作：
依次经过四次各向异性卷积操作，将每次各向异性卷积操作后的中间特征进行激活函数操作，连接激活函数处理后的四个中间特征并使用MLP生成潜在特征。
图2中，P表示各向异性卷积操作，+表示连接操作，S表示下采样，图中其他字符都是本领域惯用的字符表示方法，这里不再赘述。
其中，每次各向异性卷积操作，包括：
步骤S2.1、通过等面积投影方法将斐波那契晶格映射到球体表面以获得核点，计算出点云数据中的每个点与其相邻点的相邻位置，将相邻位置与所述核点做点积，然后经过激活函数得到每个点的软排列矩阵。
本实施例通过等面积投影方法将斐波那契晶格映射到球体表面，记为以生成一组核点Kkernel＝{k0,k1,...,kl-1}(k0＝[0,0,0]T是原点，l是内核点的数量)，这样就获得了均匀分布在球体上一组核点。获得核点后，对原始点云数据及下采样获得的两个点云数据中的每个点做处理得到软排列矩阵。
对于第i个点，与相邻点j的相邻位置记为
其中pi,j∈Ni，并且
是原点。将相邻位置
与核点做点积后，通过sparsemax计算出第i个点对应的软排列矩阵Mi，其中公式如下：
其中
f(·)是sparsemax，K表示相邻点数量。
步骤S2.2、将点云数据中每个点与其相邻点做位置编码，连接所述位置编码与前一次各向异性卷积操作输出的中间特征，得到每个点对应的点特征向量。
本实施例将原始点云数据及下采样获得的两个点云数据中的每个点与其相邻点做位置编码，位置编码为：
ri,j＝MLP(concat(pi,(pi-pi,j),||pi-pi,j||))，
其中||·||计算点pi及其相邻点之间的欧几里得距离。
针对点i，连接其位置编码和前一次各向异性卷积操作输出的中间特征，作为点i对应的点特征：
xi,j＝concat(ri,j,yi)，
其中yi是前一次各向异性卷积操作输出的中间特征，
而Din是特征维数。
结合第i个点的所有相邻点，得到对于点i的点特征向量记为：
步骤S2.3、将点云数据中的每个点的点特征向量与软排列矩阵做点积操作后进行常规的卷积操作，得到本次各向异性卷积操作输出的中间特征。
将原始点云数据及下采样获得的两个点云数据中的每个点的软排列矩阵Mi和特征向量Xi做点积操作，形成特征向量
公式如下：
其中
将特征向量
进行常规卷积操作，生成中间特征，可以表示为：
其中
是权重，
是偏差常数，
是输出的特征向量，
对应的输入特征向量，vec(·)是一个可以把矩阵转换到列向量的矢量化函数，而g(·)是激活函数，例如ELU，以引入非线性。
本实施例对原始点云数据及下采样获得的两个点云数据分别进行四次这样的各向异性卷积操作，将每次各向异性卷积操作后的中间特征进行激活函数操作，连接激活函数处理后的四个中间特征并使用MLP生成潜在特征。
上述中间特征，在每次卷积后都有更新。首先各向异性卷积操作，通过各向异性卷积输出64维的中间特征fL1。fL1参与第二次各向异性卷积操作得到64维的中间特征fL2。fL2参与第三次各向异性卷积操作得到128维的中间特征fL3。fL3参与第三次各向异性卷积操作得到256维的中间特征fL4。分别对fL1，fL2，fL3，fL4迭代最远点下采样，得到特征向量fL1′，fL2′，fL3′，fL4′，连接这四个特征向量，并通过MLP生成潜在特征，三个不同分辨率的点云数据生成的潜在特征分别记为：f1，f2，f3。
连接这三个不同分辨率产生的三个潜在特征，并使用MLP生成了最终特征向量ffinal：
ffinal＝MLP(concat(f1,f2,f3))。
步骤S3、将各向异性卷积编码器生成的最终特征向量输入到从粗糙到精细的组合金字塔解码器中，从最终特征向量中推测出点云缺失部分。
本实施例将最终特征向量通过完全连接层，输出对应于输入点云三种不同分辨率的三个特征层FC1、FC2和FC3；对特征层FC1进行预测，得到第一预测点云Ycoarse；连接特征层FC1、FC2，对连接后的特征进行预测，得到第二预测点云Ymiddle；连接FC1、FC2和FC3，对连接后的特征进行预测，得到第三预测点云Yfine，即为点云缺失部分。
具体的，本实施例将最终特征向量通过完全连接层，计算出三个特征层FC1，FC2，FC3(大小：1024、512、256)，分别对应输入的三种不同分辨率的点云数据，每个特征层负责以不同的分辨率预测点云。其中第一预测点云Ycoarse由FC1预测，其大小为M1×3，对应最低分辨率的输入点云。第二预测点云Ymiddle由FC1和FC2连接起来预测，Ymiddle的大小为M2×3，对应中等分辨率的输入点云。通过连接包含低级和高级特征信息FC1，FC2，FC3三个特征层，可以通过预测得到第三预测预测点云Yfine，并且大小为M×3，预测出的Yfine即为原始点云数据中点云缺失部分，M为点云中点的数量。
最后将原始点云数据中点云缺失部分补充到原始点云数据中，得到完整的点云数据。
在一个实施例中，本申请对于组合金字塔解码器，预先进行训练，在训练时，构建损失函数，将预测的结果输入到损失函数，计算三种不同分辨率的预测值与相应分辨率的真值之间的平方距离并分配不同的权重。本实施例选择“倒角距离”作为完成损失函数，因为与EMD相比，它可以微分且更有效地进行计算。倒角距离表示为：
其中，S1是组合金字塔解码器输出的预测值，S2是真实值，x是S1中的点，y是S2中的点。它测量了预测点集S1和真实值S2之间的平均最近平方距离。
组合金字塔解码器将会预测三种不同分辨率的点云，多级补全损失表示为：
L＝dCD(Yfine,Ygt)+αdCD(Ymiddle,Y′gt)+2αdCD(Ycoarse,Y″gt)，
其中α是超参数。，Ygt、Y′gt和Y″gt分别是Yfine、Ymiddle和Ycoarse所对应点云的真实值。
Ygt是点云缺失部分的真实值，为了计算预测的其他两个分辨率的输出，通过对Ygt应用IPFS得到与预测值Ymiddle尺寸大小一样的真实值Y′gt，和与预测值Ycoarse尺寸大小一样的真实值Y″gt。然后，计算三种不同分辨率的预测值与相应分辨率的真值之间的平方距离并分配不同的权重。
本申请还通过实验进行了结果分析，在基准数据集ShapeNet-Part中对13种不同对象的类别进行了实验。形状总数为14473(训练为11705，测试为2768)。遵循PF-Net，所有输入点云数据均以原点为中心，其坐标标准化为[-1，1]。通过在每个形状上均匀采样2048个点来创建地面真点云数据。不完整点云数据是通过从多个视点中随机选择一个视点作为中心并从完整数据中删除某个半径内的点来生成的。控制半径以获得不同数量的缺失点。将本申请的方法与其他方法进行比较时，不完整的点云设置为缺少25％的原始数据用于训练和测试。
实验网络使用PyTorch在2个TITAN RTX GPU上进行了培训。通过使用ADAM优化器交替训练所有两个组件，初始学习率为0.0001，批次大小为32。在各向异性卷积编码器上使用批次标准化(BN)和RELU激活单元，但仅使用RELU激活单元(最后一层除外)。在各向异性卷积编码器中，将s＝2。在组合金字塔解码器中，仅更改M以控制最终预测的大小，并根据每种形状的点数将M1＝64和M2＝128。
本申请方法与直接在3D点云上运行的几个代表性基线进行了比较，包括L-GAN，PCN，3D-Capsule，PF-Net。由于上面提到的这些现有方法都是在不同的数据集中进行训练的，因此在相同的数据集中对其进行训练和测试，以便更好地进行定量评估。应当注意，所有方法都是在无监督的方法下训练的，这意味着将不提供标签信息。为了评估上述方法，使用的评估指标，它包含两个索引：Pred→GT(预测与真实情况)错误和GT→Pred(真实情况与预测)错误。Pred→GT误差计算从预测中的每个点到真实值中最近的点的平均平方距离。它可以衡量预测与实际情况之间的差异。GT→Pred误差计算从真实值中的每个点到预测值中最近点的平均平方距离。
训练数据包括13种不同的对象。显示的数字是[Pred→GT error/GT→Prederror]，缩放比例为1000。计算所有类别的平均值，并将其显示在表格的最后一行。
| Category | LGAN-AE | PCN | 3D-Capsule | PF-Net | MRAC-Net |
| Airplane | 0.856/0.722 | 0.800/0.800 | 0.826/0.881 | 0.263/0.238 | 0.143/0.125 |
| Bag | 3.102/2.994 | 2.954/3.063 | 3.228/2.722 | 0.926/0.772 | 0.615/0.449 |
| Cap | 3.530/2.823 | 3.466/2.674 | 3.439/2.844 | 1.226/1.169 | 0.581/0.449 |
| Car | 2.232/1.687 | 2.324/1.738 | 2.503/1.913 | 0.599/0.424 | 0.448/0.264 |
| Chair | 1.541/1.473 | 1.592/1.538 | 1.678/1.563 | 0.487/0.427 | 0.295/0.216 |
| Guitar | 0.394/0.354 | 0.367/0.406 | 0.298/0.461 | 0.108/0.091 | 0.068/0.065 |
| Lamp | 3.181/1.918 | 2.757/2.003 | 3.271/1.912 | 1.037/0.640 | 0.703/0.297 |
| Laptop | 1.206/1.030 | 1.191/1.155 | 1.276/1.254 | 0.301/0.245 | 0.223/0.174 |
| Motorbike | 1.828/1.455 | 1.699/1.459 | 1.591/1.664 | 0.522/0.389 | 0.345/0.212 |
| Mug | 2.732/2.946 | 2.893/2.821 | 3.086/2.961 | 0.745/0.739 | 0.549/0.387 |
| Pistol | 1.113/0.967 | 0.968/0.958 | 1.089/1.086 | 0.252/0.244 | 0.182/0.127 |
| Skateboard | 0.887/1.020 | 0.816/1.206 | 0.897/1.262 | 0.225/0.172 | 0.220/0.166 |
| Table | 1.694/1.601 | 1.604/1.790 | 1.870/1.749 | 0.525/0.404 | 0.348/0.273 |
| Mean | 1.869/1.615 | 1.802/1.662 | 1.927/1.713 | 0.555/0.458 | 0.363/0.247 |
表1整体点云的点云完成结果。
显示的数字是[Pred→GT error/GT→Pred error]，缩放比例为1000。在此表中，在点云的缺失区域中计算这两个指标。
| Category | LGAN-AE | PCN | 3D-Capsule | PF-Net | MRAC-Net |
| Airplane | 3.357/1.130 | 5.060/1.243 | 2.676/1.401 | 1.091/1.070 | 0.775/0.742 |
| Bag | 5.707/5.303 | 3.251/4.314 | 5.228/4.202 | 3.929/3.768 | 2.893/2.524 |
| Cap | 8.968/4.608 | 7.015/4.240 | 11.040/4.739 | 5.290/4.800 | 2.832/2.541 |
| Car | 4.531/2.518 | 2.741/2.123 | 5.944/3.508 | 2.489/1.839 | 2.286/1.474 |
| Chair | 7.359/2.339 | 3.952/2.301 | 3.049/2.207 | 2.074/1.824 | 1.532/1.256 |
| Guitar | 0.838/0.536 | 1.419/0.689 | 0.625/0.662 | 0.456/0.429 | 0.399/0.365 |
| Lamp | 8.464/3.627 | 11.610/7.139 | 9.912/5.847 | 5.122/3.460 | 4.589/2.305 |
| Laptop | 7.649/1.413 | 3.070/1.422 | 2.129/1.733 | 1.247/0.997 | 1.106/0.907 |
| Motorbike | 4.914/2.036 | 4.962/1.922 | 8.617/2.708 | 2.206/ 1.775 | 1.910/1.324 |
| Mug | 6.139/4.735 | 3.590/3.591 | 5.155/5.168 | 3.138/3.238 | 2.722/2.224 |
| Pistol | 3.944/1.424 | 4.484/1.414 | 5.980/1.782 | 1.122/1.055 | 1.039/0.843 |
| Skateboard | 5.613/1.683 | 3.025/1.740 | 11.490/2.044 | 1.136/1.337 | 1.232/1.066 |
| Table | 2.658/2.484 | 2.503/2.452 | 3.929/3.098 | 2.235/1.934 | 1.869/1.650 |
| Mean | 5.395/2.603 | 4.360/2.661 | 5.829/3.008 | 2.426/2.117 | 1.937/1.479 |
表2缺少点云的点云完成结果。
首先将网络的预测与输入点云连接起来，以计算整个完整点云上的Pred→GT误差和GT→Pred误差。表1显示了结果。在Pred→GT和GT→Pred错误上，本申请的方法在所有类别中均优于上述其他方法。因为PF-Net注意到整个完整点云的误差来自两部分：缺失区域的预测误差和原始局部形状的变化。本申请的方法将形状的一部分作为输入，仅输出缺失的区域，因此它不会更改形状的原始部分。为了确保的评估是合理的，还计算缺失区域上的Pred→GT误差和GT→Pred误差。表2说明了，在Pred→GT错误和GT→Pred错误方面，本申请的方法在13个类别中的12个方面优于现有方法。此外，就所有13个类别的平均值而言，本申请的方法在两个指标上均具有相当大的优势。表1和表2的结果表明，本申请的方法可以生成更多的高精度点云，而整个点云和缺失区域的点云失真更小。相比之下，本申请的方法可以生成具有形状的精细结构，而其他方法则容易产生模糊结果。也可以生成逼真的细节结构，例如帽子的前部与遮阳板相交的位置。总的来说，本申请完成的结果看起来不那么嘈杂，视觉上也更加接近真实值。
在另一个实施例中，本申请还提供了一种基于各向异性卷积的点云补全装置，包括处理器以及存储有若干计算机指令的存储器，所述计算机指令被处理器执行时实现所述基于各向异性卷积的点云补全方法的步骤。
关于基于各向异性卷积的点云补全装置的具体限定可以参见上文中对于基于各向异性卷积的点云补全方法的限定，在此不再赘述。上述基于各向异性卷积的点云补全装置可全部或部分通过软件、硬件及其组合来实现。可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上对应的操作。
存储器和处理器之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件互相之间可以通过一条或多条通讯总线或信号线实现电性连接。存储器中存储有可在处理器上运行的计算机程序，所述处理器通过运行存储在存储器内的计算机程序，从而实现本发明实施例中的网络拓扑布局方法。
其中，所述存储器可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器用于存储程序，所述处理器在接收到执行指令后，执行所述程序。
所述处理器可能是一种集成电路芯片，具有数据的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等。可以实现或者执行本发明实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (6)
1.一种基于各向异性卷积的点云补全方法，其特征在于，所述基于各向异性卷积的点云补全方法，包括：
采用迭代最远点采样算法对输入的原始点云数据进行下采样，获得更小分辨率的两个点云数据；
将原始点云数据及下采样获得的两个点云数据输入到各向异性卷积编码器中，所述各向异性卷积编码器分别提取点云数据的潜在特征，并连接所提取的三个潜在特征，使用MLP生成了最终特征向量；
将各向异性卷积编码器生成的最终特征向量输入到从粗糙到精细的组合金字塔解码器中，从最终特征向量中推测出点云缺失部分。
2.如权利要求1所述的基于各向异性卷积的点云补全方法，其特征在于，所述各向异性卷积编码器分别提取点云数据的潜在特征，包括：
依次经过四次各向异性卷积操作，将每次各向异性卷积操作后的中间特征进行激活函数操作，连接激活函数处理后的四个中间特征并使用MLP生成潜在特征。
3.如权利要求2所述的基于各向异性卷积的点云补全方法，其特征在于，所述各向异性卷积操作，包括：
通过等面积投影方法将斐波那契晶格映射到球体表面以获得核点，计算出点云数据中的每个点与其相邻点的相邻位置，将相邻位置与所述核点做点积，然后经过激活函数得到每个点的软排列矩阵；
将点云数据中每个点与其相邻点做位置编码，连接所述位置编码与前一次各向异性卷积操作输出的中间特征，得到每个点对应的点特征向量；
将点云数据中的每个点的点特征向量与软排列矩阵做点积操作后进行常规的卷积操作，得到本次各向异性卷积操作输出的中间特征。
4.如权利要求1所述的基于各向异性卷积的点云补全方法，其特征在于，所述将各向异性卷积编码器生成的最终特征向量输入到从粗糙到精细的组合金字塔解码器中，从最终特征向量中推测出点云缺失部分，包括：进行
将最终特征向量通过完全连接层，输出对应于输入点云三种不同分辨率的三个特征层FC1、FC2和FC3；
对特征层FC1进行预测，得到第一预测点云Ycoarse；
连接特征层FC1、FC2，对连接后的特征进行预测，得到第二预测点云Ymiddle；
连接FC1、FC2和FC3，对连接后的特征进行预测，得到第三预测点云Yfine，即为点云缺失部分。
5.如权利要求4所述的基于各向异性卷积的点云补全方法，其特征在于，所述组合金字塔解码器预先训练，在预先训练时，对于每一个分辨率的点云数据，采用如下损失函数：
其中，S1是组合金字塔解码器输出的预测值，S2是真实值，x是S1中的点，y是S2中的点；
组合金字塔解码器将会预测三种不同分辨率的点云，多级补全损失表示为：
L＝dCD(Yfine,Ygt)+αdCD(Ymiddle,Y′gt)+2αdCD(Ycoarse,Y″gt)，
其中α是超参数，Ygt、Y′gt和Y″gt分别是Yfine、Ymiddle和Ycoarse所对应点云的真实值。
6.一种基于各向异性卷积的点云补全装置，包括处理器以及存储有若干计算机指令的存储器，其特征在于，所述计算机指令被处理器执行时实现权利要求1至权利要求5中任意一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110679234.3A CN113378112A (zh) | 2021-06-18 | 2021-06-18 | 一种基于各向异性卷积的点云补全方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110679234.3A CN113378112A (zh) | 2021-06-18 | 2021-06-18 | 一种基于各向异性卷积的点云补全方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113378112A true CN113378112A (zh) | 2021-09-10 |
Family
ID=77577874
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110679234.3A Pending CN113378112A (zh) | 2021-06-18 | 2021-06-18 | 一种基于各向异性卷积的点云补全方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113378112A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114334068A (zh) * | 2021-11-15 | 2022-04-12 | 深圳市龙岗中心医院(深圳市龙岗中心医院集团、深圳市第九人民医院、深圳市龙岗中心医院针灸研究所) | 一种放射学报告生成方法、装置、终端及存储介质 |
| CN114627346A (zh) * | 2022-03-15 | 2022-06-14 | 电子科技大学 | 一种保留重要特征的点云数据下采样方法 |
| CN114972695A (zh) * | 2022-05-20 | 2022-08-30 | 北京大学深圳研究生院 | 一种点云生成方法、装置、电子设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019153245A1 (en) * | 2018-02-09 | 2019-08-15 | Baidu.Com Times Technology (Beijing) Co., Ltd. | Systems and methods for deep localization and segmentation with 3d semantic map |
| CN111027559A (zh) * | 2019-10-31 | 2020-04-17 | 湖南大学 | 一种基于扩张点卷积空间金字塔池化的点云语义分割方法 |
| CN112347859A (zh) * | 2020-10-15 | 2021-02-09 | 北京交通大学 | 一种光学遥感图像显著性目标检测方法 |
-
2021
- 2021-06-18 CN CN202110679234.3A patent/CN113378112A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019153245A1 (en) * | 2018-02-09 | 2019-08-15 | Baidu.Com Times Technology (Beijing) Co., Ltd. | Systems and methods for deep localization and segmentation with 3d semantic map |
| CN111027559A (zh) * | 2019-10-31 | 2020-04-17 | 湖南大学 | 一种基于扩张点卷积空间金字塔池化的点云语义分割方法 |
| CN112347859A (zh) * | 2020-10-15 | 2021-02-09 | 北京交通大学 | 一种光学遥感图像显著性目标检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| ZHONGPAI GAO等: "Permutation Matters: Anisotropic Convolutional Layer for Learning on Point Clouds", ARXIV, pages 3 * |
| ZITIAN HUANG等: "PF-Net：PF-Net: Point Fractal Network for 3D Point Cloud Completion", IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION（CVPR）, pages 1 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114334068A (zh) * | 2021-11-15 | 2022-04-12 | 深圳市龙岗中心医院(深圳市龙岗中心医院集团、深圳市第九人民医院、深圳市龙岗中心医院针灸研究所) | 一种放射学报告生成方法、装置、终端及存储介质 |
| CN114334068B (zh) * | 2021-11-15 | 2022-11-01 | 深圳市龙岗中心医院(深圳市龙岗中心医院集团、深圳市第九人民医院、深圳市龙岗中心医院针灸研究所) | 一种放射学报告生成方法、装置、终端及存储介质 |
| CN114627346A (zh) * | 2022-03-15 | 2022-06-14 | 电子科技大学 | 一种保留重要特征的点云数据下采样方法 |
| CN114972695A (zh) * | 2022-05-20 | 2022-08-30 | 北京大学深圳研究生院 | 一种点云生成方法、装置、电子设备及存储介质 |
| CN114972695B (zh) * | 2022-05-20 | 2024-03-15 | 北京大学深圳研究生院 | 一种点云生成方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Fei et al. | Comprehensive review of deep learning-based 3d point cloud completion processing and analysis | |
| Yang et al. | Dense 3D object reconstruction from a single depth view | |
| Wang et al. | Hierarchical attention learning of scene flow in 3d point clouds | |
| Lu et al. | 3DCTN: 3D convolution-transformer network for point cloud classification | |
| CN111047548B (zh) | 姿态变换数据处理方法、装置、计算机设备和存储介质 | |
| Sinha et al. | Deep learning 3D shape surfaces using geometry images | |
| Li et al. | Improved point-voxel region convolutional neural network: 3D object detectors for autonomous driving | |
| Mi et al. | SSRNet: Scalable 3D surface reconstruction network | |
| CN113378112A (zh) | 一种基于各向异性卷积的点云补全方法及装置 | |
| Zhou et al. | Octr: Octree-based transformer for 3d object detection | |
| US12056615B2 (en) | Icospherical gauge convolutional neural network | |
| CN113159232A (zh) | 一种三维目标分类、分割方法 | |
| US11682166B2 (en) | Fitting 3D primitives to a high-resolution point cloud | |
| CN110781894A (zh) | 点云语义分割方法、装置及电子设备 | |
| CN113436237B (zh) | 一种基于高斯过程迁移学习的复杂曲面高效测量系统 | |
| CN111860124A (zh) | 基于空谱胶囊生成对抗网络的遥感图像分类方法 | |
| Afifi et al. | Pixel2Point: 3D object reconstruction from a single image using CNN and initial sphere | |
| CN116563682A (zh) | 一种基于深度霍夫网络的注意力方案和条带卷积语义线检测的方法 | |
| Xu et al. | Accurate polygonal mapping of buildings in satellite imagery | |
| Lei et al. | Mesh convolution with continuous filters for 3-D surface parsing | |
| Hara et al. | Enhancement of novel view synthesis using omnidirectional image completion | |
| Liu et al. | MRAC-Net: Multi-resolution anisotropic convolutional network for 3D point cloud completion | |
| Lin et al. | A-SATMVSNet: An attention-aware multi-view stereo matching network based on satellite imagery | |
| Singh et al. | Deep learning-based semantic segmentation of three-dimensional point cloud: a comprehensive review | |
| CN114764880A (zh) | 多成分gan重建的遥感图像场景分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |