CN115661340B - 一种基于源信息融合的三维点云上采样方法与系统 - Google Patents
一种基于源信息融合的三维点云上采样方法与系统 Download PDFInfo
- Publication number
- CN115661340B CN115661340B CN202211252976.9A CN202211252976A CN115661340B CN 115661340 B CN115661340 B CN 115661340B CN 202211252976 A CN202211252976 A CN 202211252976A CN 115661340 B CN115661340 B CN 115661340B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- fusion
- feature
- sampling
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 144
- 238000005070 sampling Methods 0.000 title claims abstract description 131
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000000605 extraction Methods 0.000 claims abstract description 32
- 238000010586 diagram Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 13
- 230000017105 transposition Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 10
- 239000002131 composite material Substances 0.000 claims description 7
- 101001030591 Homo sapiens Mitochondrial ubiquitin ligase activator of NFKB 1 Proteins 0.000 claims description 6
- 102100038531 Mitochondrial ubiquitin ligase activator of NFKB 1 Human genes 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 2
- 230000000007 visual effect Effects 0.000 abstract 2
- 238000002474 experimental method Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 10
- 238000012360 testing method Methods 0.000 description 10
- 238000013135 deep learning Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000012614 Monte-Carlo sampling Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- -1 intensities Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Landscapes
- Length Measuring Devices With Unspecified Measuring Means (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于源信息融合的三维点云上采样方法与系统，本发明设计了两个新的用于源信息融合的模块，分别是双次注意力融合模块和回归增强模块，利用这两个模块，能够将点云的源信息融合进点云的整个上采样过程中，从而提高点云上采样的精度。本方法包括以下阶段：第一阶段，通过特征提取模块初步提取输入点云的特征；第二阶段，将提取到的特征和输入点云进行双次注意力融合，得到融合后的特征；第三阶段，对特征进行上采样；第四阶段，将点的特征回归为点的三维坐标，生成上采样后的点云。本发明可以提高稀疏、嘈杂、不均匀的输入点云的视觉效果，生成后的密集点云可以应用于对分辨率要求较高的高级视觉任务，如三维目标检测中。
Description
技术领域
本发明属于计算机图形处理与深度学习领域，特别涉及一种基于源信息融合的三维点云上采样方法与系统。
背景技术
随着Kinect、LiDAR等传感器和扫描仪等硬件设备和激光扫描技术的成熟，3D点云得到了广泛的应用。3D点云被应用于各个领域，如交通领域的自动驾驶；医学领域的牙齿三维扫描；文化领域的文化遗产重建；工业领域的工业缺陷检查、机器人技术；信息技术领域的虚拟/增强现实等等。
点云是三维数据的原始表示，是由扫描设备获取的点的集合。点云中的每个点至少含有坐标信息，还可包含法向量、强度、颜色、材质等其他信息。受到扫描硬件设备及传感器芯片技术水平的限制，由这些扫描设备采集到的点云往往是稀疏、无序、不规则而且密度大小不一。稀疏的点云往往导致三维环境建模质量的低下以及在上述某些三维应用场景中检测/识别精度的降低。因此，就需要对原始点云数据进行改进以提升3D点云的质量。虽然可以通过提升硬件设施即传感器的扫描精度来提升采集质量，但是往往价格高昂，且对于某些移动应用场景来说不切实际。因此，往往是使用点云上采样技术对由采集设备采集到的稀疏的点云进行上采样来获得高分辨率的点云，以提高数据的质量。
现有的点云上采样方法大致分为基于优化的方法和基于深度学习的方法。早期的传统方法便是基于优化的方法。Alexa等人开创性地利用移动最小二乘表面完成点的插值工作。Dinesh等人先后提出了两种用于解决3D点云超分辨率问题的方法，第一种是基于图总变化设计的快速的局部点云超分辨率算法，第二种方法对第一种方法进行了改进，提高了几何精度，减少了执行时间，并且可以用于彩色3D点云。但是，这些基于优化的方法非常依赖于先验的知识，而且是在一定的假设条件下进行的(如局部平滑假设)，而且只能适用于特定的形状(如光滑的表面)。
与基于优化的方法不同，深度学习是一种基于数据驱动的方法，能够从海量的数据中自动地提取特征从而对给定的任务进行自动地学习。自从Qi等人利用了点云的旋转不变性直接对点云中的点进行处理，开创式地提出了基于点的深度学习模型PointNet，PointNet++以后，有许多基于深度学习的点云上采样方法出现。Yu等人最早将神经网络用于点云上采样，提出了PU-Net，使用了分层特征学习的方式来学习不同规模的点特征，在将多级特征聚合以后对特征进行拓展，之后将点特征重构为点坐标。Yu等人又提出了Ec-net，使用边缘感知技术用以在上采样点云的同时更好地生成边缘区域的点，但是其训练样本需要人工注释边缘。Wang等人提出的MPU采用了基于块的方式并通过多步来训练点云上采样网络。Qian等人提出了PU-GCN，使用了图卷积网络来编码来自点邻域的局部点信息，并利用了Inception结构来提取点的多尺度特征。虽然这些方法都是为了提高上采样点云的质量，但是仍不能从稀疏、不均匀的输入点云中产生理想的上采样结果。我们对这些网络进行分析后发现，这些网络都只利用了一次输入点云，即对输入点云进行一次特征提取，随着网络的加深，提取到的特征会由于越来越抽象而有所损失，在重新审视整个点云上采样网络架构以后，我们提出了一种基于源信息融合的三维点云上采样方法，将点云的源信息融合进点云的整个上采样过程中，来及时弥补损失掉的信息，从而能够尽可能地保存输入点云中原始的细节信息，最终达到优化生成后的上采样点云的质量的目的。
发明内容
发明目的：本发明的目的是提供一种基于源信息融合的三维点云上采样方法与系统，对稀疏的点云进行上采样，得到密集且均匀的点云，同时不损失物体原有的轮廓和细节信息，进一步地提高上采样点云的质量。
技术方案：为实现上述发明目的，本发明提供的一种基于源信息融合的三维点云上采样方法，包括以下步骤：
步骤1：对包含三维坐标信息的输入点云进行特征提取，得到提取的第一点云特征；
步骤2：将第一点云特征和输入点云进行双次注意力融合，得到融合后的第二点云特征；所述双次注意力融合分别通过第一融合单元和第二融合单元对第一点云特征和输入点云进行融合；所述第一融合单元通过两组独立的多层感知机分别对第一点云特征和输入点云进行特征提取，得到维数相同的特征并进行转置与乘法操作后得到第一注意力特征图；所述第一注意力特征图与第一点云特征相乘后得到第一融合特征，或者与第一点云特征经多层感知机后的特征相乘后得到第一融合特征；所述第二融合单元通过两组独立的多层感知机分别对第一点云特征和输入点云进行特征提取，得到维数相同的特征并进行转置与乘法操作后得到第二注意力特征图；所述第二注意力特征图与输入点云经多层感知机后的特征相乘后得到第二融合特征；所述第一融合特征、第二融合特征和第一点云特征逐元素相加后得到双次注意力融合后的第二点云特征；
步骤3：对第二点云特征进行上采样，得到上采样后的第三点云特征；
步骤4：将第三点云特征回归为点的三维坐标，生成上采样后的三维点云。
进一步地，所述步骤4中进行坐标回归时，引入自注意力和多层感知机，通过第一回归子单元和第二回归子单元将第三点云特征转换为三维坐标；所述第一回归子单元和第二回归子单元均包括一个自注意力单元和至少一组多层感知机；自注意力单元的输出作为多层感知机的输入，第一回归子单元的输出作为第二回归子单元的输入，第二回归子单元输出的特征维数为rN×3，其中r为采样倍数，N为输入点云的点数。
进一步地，所述步骤4中引入原始输入点云，将其与坐标回归得到的上采样点云进行混合，对混合后的点云进行最远点采样，得到符合采样倍率要求的点云。
作为优选，采用PU-GCN中的特征提取模块对输入点云进行特征提取，采用PU-GCN中的上采样器对第二点云特征进行上采样。
作为优选，所述步骤2中采用双次注意力融合模块进行特征融合，所述双次注意力融合模块接受两路输入，一路输入是第一点云特征N×C，另一路输入是原始的输入点云N×3，N为输入点云的点数，C为通道数；所述双次注意力融合模块包括第一融合单元和第二融合单元；所述第一融合单元包括三组独立的多层感知机，第一组多层感知机输入为第一点云特征，输出特征N×C，第二组多层感知机输入为第一点云特征，输出特征N×C2，第三组多层感知机输入为原始输入点云，输出特征N×C2，第一融合单元中两个特征大小为N×C2的特征进行转置相乘后得到N×N的特征FMUL1，特征FMUL1经过softmax函数后得到第一注意力特征图W1；所述第二融合单元包括三组独立的多层感知机，第一组多层感知机输入为第一点云特征，输出特征N×C2，第二组多层感知机输入为原始输入点云，输出特征N×C2，第三组多层感知机输入为原始输入点云，输出特征N×C，第二融合单元中两个特征大小为N×C2的特征进行转置相乘后得到N×N的特征FMUL2，特征FMUL2经过softmax函数后得到第二注意力特征图W2；将W1和W2分别与第一融合单元中第一组多层感知机输出特征、第二融合单元中第三组多层感知机输出特征相乘后，再将结果及第一点云特征逐元素相加后得到第二点云特征N×C；其中通道数C2＜C。
作为优选，所述步骤4中采用回归增强模块进行坐标回归，所述回归增强模块包括注意力回归单元和复合采样单元；所述注意力回归单元包括级联的第一回归子单元和第二回归子单元，所述第一回归子单元包括一个自注意力单元，以及连接在自注意力单元之后的两组级联的多层感知机，第一回归子单元的输入为第三点云特征，输出特征的大小与第三点云特征的大小相同，为rN×C1，其中r为采样倍数，N为输入点云的点数，C1为通道数；所述第二回归子单元也包括一个自注意力单元，以及连接在自注意力单元之后的两组级联的多层感知机，第二回归子单元的输入为第一回归子单元的输出，输出特征rN×3；
所述复合采样单元，将原始输入点云复制r份，并与回归增强模块输出的特征进行相加，得到初步的上采样点云rN×3；将初步的上采样点云与原始输入点云进行混合，得到(r+1)N个点的点云，对(r+1)N个点的点云进行最远点采样，得到所需的符合上采样倍率要求的点云。
作为优选，采用CD损失作为点云上采样的损失函数，基于训练数据集对点云上采样过程中的网络参数进行训练，以使上采样生成的点云更加接近于真值点云；所述损失函数计算公式如下：
其中，S1表示预测的点云，S2表示真值点云，x是属于S1中的点，y是属于S2中的点，表示平方欧式范数。
本发明提供的一种基于源信息融合的三维点云上采样系统，包括输入模块，三维点云上采样网络模型以及输出模块；所述输入模块，用于获取包含三维坐标信息的三维点云，并输入到所述三维点云上采样网络模型中；所述三维点云上采样网络模型，用于对输入点云进行上采样，得到符合上采样倍率要求的点云；所述输出模块，用于基于所述三维点云上采样网络模型输出的点云进行物体坐标重建；
所述三维点云上采样网络模型，包括：
特征提取模块，用于对输入点云进行特征提取，得到提取的第一点云特征；
特征融合模块，用于将第一点云特征和输入点云进行双次注意力融合，得到融合后的第二点云特征；所述双次注意力融合分别通过第一融合单元和第二融合单元对第一点云特征和输入点云进行融合；所述第一融合单元通过两组独立的多层感知机分别对第一点云特征和输入点云进行特征提取，得到维数相同的特征并进行转置与乘法操作后得到第一注意力特征图；所述第一注意力特征图与第一点云特征相乘后得到第一融合特征，或者与第一点云特征经多层感知机后的特征相乘后得到第一融合特征；所述第二融合单元通过两组独立的多层感知机分别对第一点云特征和输入点云进行特征提取，得到维数相同的特征并进行转置与乘法操作后得到第二注意力特征图；所述第二注意力特征图与输入点云经多层感知机后的特征相乘后得到第二融合特征；所述第一融合特征、第二融合特征和第一点云特征逐元素相加后得到双次注意力融合后的第二点云特征；
上采样模块，用于对第二点云特征进行上采样，得到上采样后的第三点云特征；
以及回归模块，用于将第三点云特征回归为点的三维坐标，生成上采样后的三维点云。
作为优选，所述回归模块中进行坐标回归时，引入自注意力和多层感知机，通过第一回归子单元和第二回归子单元将第三点云特征转换为三维坐标；所述第一回归子单元和第二回归子单元均包括一个自注意力单元和至少一组多层感知机；自注意力单元的输出作为多层感知机的输入，第一回归子单元的输出作为第二回归子单元的输入，第二回归子单元输出的特征维数为rN×3；所述回归模块中还引入原始输入点云，将其与坐标回归得到的上采样点云进行混合，对混合后的点云进行最远点采样，得到符合采样倍率要求的点云。
本发明提供的一种计算机系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现所述的基于源信息融合的三维点云上采样方法的步骤。
有益效果：与现有点云上采样方法相比，本发明具有如下优点：
1、本发明通过将输入点云的源信息融合进点云的整个上采样过程中，从而提高点云超分辨率的效果。双次注意力融合通过第一融合单元引入输入点云中的信息并利用注意力特征图来优化特征提取模块提取到的特征，第二融合单元能够提取到输入点云的原始的全局几何特征并进行特征融合操作。利用双次注意力融合将输入点云直接引入到网络中，输入点云中的每一个点可以作为一个独立的单元被单独处理，这样额外提取到的信息可以丰富网络中的特征并弥补由于网络的加深造成的初始特征的丢失。
2、本发明进一步对点的坐标回归过程进行优化，通过引入自注意力机制来进一步融合特征，并通过多层感知机对特征进行整合，在加深网络的同时提高了点云上采样效果；此外还进一步通过直接引入原始的输入点云并将其与初步的上采样点云进行混合来扩大点集空间，之后通过最远点采样算法来筛选出彼此相距更远的点，从而使得最后获得的上采样点云更加地均匀。输入点云的引入和最远点采样方法的使用，能够将一些糟糕的点剔除，保留良好的点，从而增强点回归过程。
3、下文具体实施例中的实验结果证实了本发明的有效性及优越性。
附图说明
图1为本发明一种基于源信息融合的三维点云上采样方法的结构示意图。
图2为本发明双次注意力融合模块的结构示意图。
图3为本发明回归增强模块的结构示意图。
图4为双次注意力融合模块变体的结构示意图。
图5为三维点云模型上采样效果图。
具体实施方式
以下结合附图和实施例对本发明作进一步的详细说明。此处所描述的实施例仅用于解释本发明，不用于限定本发明。
本发明实施例提供的一种基于源信息融合的三维点云上采样方法，对现有基于深度学习的网络架构进行了改进，在现有网络的特征提取模块和上采样模块之间设计了用于源信息融合的模块，双次注意力融合模块。并且对现有网络的回归模块进行增强，设计了回归增强模块。本发明实施例基于的网络的结构流图如图1所示。
具体地，本发明实施例的一种基于源信息融合的三维点云上采样方法，首先对输入点云进行特征提取，得到提取的第一点云特征；然后将第一点云特征和输入点云进行双次注意力融合，得到融合后的第二点云特征；再对第二点云特征进行上采样，得到上采样后的第三点云特征；最后将第三点云特征回归为点的三维坐标，生成上采样后的三维点云。
其中双次注意力融合分别通过第一融合单元和第二融合单元对第一点云特征和输入点云进行融合；第一融合单元通过两组独立的多层感知机分别对第一点云特征和输入点云进行特征提取，得到维数相同的特征并进行转置与乘法操作后得到第一注意力特征图；第一注意力特征图与第一点云特征相乘后得到第一融合特征，或者与第一点云特征经多层感知机后的特征相乘后得到第一融合特征；第二融合单元通过两组独立的多层感知机分别对第一点云特征和输入点云进行特征提取，得到维数相同的特征并进行转置与乘法操作后得到第二注意力特征图；第二注意力特征图与输入点云经多层感知机后的特征相乘后得到第二融合特征；第一融合特征、第二融合特征和第一点云特征逐元素相加后得到双次注意力融合后的第二点云特征。
利用双次注意力融合将输入点云直接引入到网络中，输入点云中的每一个点可以作为一个独立的单元被单独处理，这样额外提取到的信息可以丰富网络中的特征并弥补由于网络的加深造成的初始特征的丢失。此外，本发明还在坐标回归过程中，引入自注意力和多层感知机，在加深网络的同时提高点云上采样效果。并引入原始输入点云，将其与坐标回归得到的上采样点云进行混合，对混合后的点云进行最远点采样，增强点回归过程。
下面结合图1详细说明上述方法的详细步骤：
步骤1：通过特征提取模块初步提取输入点云的特征，得到第一点云特征N×C，其中N表示输入点云的点数，C表示通道数；本例中第一点云特征的大小为N×193；
步骤2：将提取到的第一点云特征和输入点云进行双次注意力融合，得到融合后的第二点云特征；本例中考虑到在双次注意力融合结构中有一个将融合后的特征和前一层提取到的特征进行残差相加的操作，为了便于和前一层提取到的特征进行残差相加，此处使融合后的特征的大小和前一层提取到的特征的大小保持一致，即第二点云特征的大小为N×193；
步骤3：对第二点云特征进行上采样，得到上采样后的第三点云特征rN×C1，其中r表示上采样倍率，C1表示通道数，为了减少网络中的参数量，一般C1小于C；
步骤4：通过回归增强模块将第三点云特征回归为点的三维坐标，生成上采样后的点云。
本例中步骤1特征提取采用PU-GCN中的特征提取模块，具体步骤如下：
1-1.将经过处理的含有x,y,z坐标信息的具有N个点的稀疏点云输入到网络中。输入点云被输入到由PU-GCN中的Inception feature extractor构成的特征提取模块中。
1-2.在特征提取模块中，通过K近邻算法在欧几里得空间中找到距离输入点云(N×3)中的每个点距离最近的K个点，得到邻居点(N×K×3)。
1-3.对邻居点和中心点的差值进行一次卷积，得到特征N×K×C4。
1-4.将步骤1-3得到的特征N×K×C4与中心点经过一次卷积后得到的特征N×1×C4进行相加，得到特征N×K×C4。
1-5.将步骤1-4中得到的特征N×K×C4通过最大池化操作，得到点云特征N×C4；这里K、C4借鉴PU-GCN中的经验即可，本例中K＝20，C4＝32。至此，点的三维坐标信息被嵌入到潜层空间中。
1-6.将步骤1-5中得到的特征送到两层残差连接的Inception DenseGCN层中，提取点的多尺度特征，得到点云特征N×C。
步骤2中通过双次注意力融合模块融合提取到的第一点云特征和输入点云，得到融合后的第二特征，具体步骤如下：
2-1.双次注意力融合模块接受两路输入，一路输入是来自前一层的特征提取模块初步提取到的第一点云特征，另一路输入是直接来自于原始的输入点云。双次注意力融合模块的输出是融合后的特征N×C。
2-2.双次注意力融合模块是一种耦合的结构，结构如图2所示，其核心技术方案为：
将第一点云特征复制3份，其中2份送入到双次注意力融合模块的上半部分结构中，即第一融合单元，分别通过两组相互独立的多层感知机之后，得到两组特征，其中一组特征的大小为N×C，另一组特征的大小为N×C2，为了减少网络中的参数量，此处C2的值设定为两路输入的通道数的和除以4取整数部分的结果，本例中取值为49。另一份特征送入到双次注意力融合模块的下半部分结构中，即第二融合单元，通过一组独立的多层感知机后，得到特征N×C2。对由特征提取模块的输出N×C经过多层感知机后得到的特征N×C2进行转置操作，将转置后的结果与由原始点云N×3经过多层感知机后得到的特征N×C2进行矩阵乘法的操作，得到特征FMUL1，将FMUL1经过softmax函数后得到第一注意力特征图W1，W1的大小为N×N，用公式表示如下：W1＝softmax(FMUL1)。接着将由特征提取模块的输出N×C经过多层感知机后得到的特征N×C与第一注意力特征图W1相乘，即可得到优化后的特征N×C。
将原始点云N×3复制3份，其中2份送入到双次注意力融合模块的下半部分结构中，即第二融合单元，分别通过两组相互独立的多层感知机之后，得到两组特征，其中一组特征的大小为N×C2，另一组特征的大小为N×C。另一份特征N×3送入到双次注意力融合模块的上半部分结构中，即第一融合单元，通过一组独立的多层感知机后，得到特征N×C2。对由原始点云N×3经过多层感知机后得到的特征N×C2进行转置操作，将转置后的结果与由特征提取模块的输出N×C经过多层感知机后得到的特征N×C2进行矩阵乘法的操作，得到特征FMUL2，将FMUL2经过softmax函数后得到第二注意力特征图W2，W2的大小为N×N，用公式表示如下：W2＝softmax(FMUL2)。接着将由原始点云N×3经过多层感知机后得到的特征N×C与第二注意力特征图W2相乘，即可得到优化后的特征N×C。
2-3.将来自双次注意力融合模块上半部分得到的优化特征N×C和来自双次注意力融合模块下半部分的优化特征N×C以及来自前一层特征提取模块的特征N×C进行逐元素相加，所得到的结果作为双次注意力融合模块的输出特征，此特征融合了输入点云中的源信息，大小为N×C。
步骤3对特征进行上采样的采样模块采用了PU-GCN中的上采样器，主要由NodeShuffle操作构成，具体步骤如下：
3-1.将来自步骤2中已经融合的第二点云特征N×C输入到上采样模块中。首先，通过一个瓶颈层(即一组多层感知机)对特征进行压缩，以减少后续网络中的参数计算量，得到大小为N×C1的特征。本例中，C1取值为64。
3-2.然后，通过一层图卷积神经网络对特征的通道进行扩展，将N×C1的特征拓展为N×rC1，其中，特征通道的数量变为了原来的r倍，其中r是上采样倍率，本例中取值为4。
3-3.之后，通过shuffle操作对扩展后的特征N×rC1进行重排，得到密集特征rN×C1，此即为上采样模块的输出特征。
步骤4中通过回归增强模块将点的特征回归为点的三维坐标，生成上采样后的点云，具体如下：
将密集特征rN×C1送入回归增强模块中，以进行坐标重建操作。
回归增强模块和双次注意力融合模块一样，也是一种双流输入的结构。结构如图3所示，回归增强模块核心技术方案为：
回归增强模块主要由两个单元组成，分别是注意力回归单元和复合采样单元。注意力回归单元又是由两个回归子单元组成。每一个回归子单元又是由一个自注意力单元和两组相互独立的多层感知机组成。复合采样单元则是由一个混合操作和一个最远点采样操作组成。
回归增强模块的一路输入是前一层上采样模块输出的密集特征rN×C1。之后分别通过两个级联的回归子单元。在第一回归子单元里，特征rN×C1通过一个自注意力单元得到一个优化后的特征rN×C1，自注意力单元能够通过对特征赋予不同的权重信息，对特征进行优化，从而强化了点云三维坐标回归的过程。之后，将自注意力单元的输出rN×C1分别送入到两组相互独立的多层感知机中，通过第一组多层感知机后特征的大小为rN×C1，第二组多层感知机的输出特征的大小也是rN×C1，至此，第一回归子单元完成。第二回归子单元与第一回归子单元的结构大致相同，不同的地方在于多层感知机的输出部分。在第二回归子单元里，首先将来自前一层的特征rN×C1通过一个自注意力单元，得到特征rN×C1。在通过一组输出通道数为C3的多层感知机后(本例中C3取值为32)，得到特征rN×C3。在通过最后一组多层感知机后，特征被变换为rN×3的点坐标，即为整个注意力回归单元的输出，将其称为回归点。在通过整个注意力回归单元以后，来自上采样模块输出的密集特征rN×C1被成功映射到三维空间中。
回归增强模块的另一路输入是原始点云N×3，此路有两个分支，原始点云被复制为了2份分别送入两个分支中。
其中一路分支将原始点云复制了r份，其中r为上采样倍率。经过复制后的原始点云rN×3与注意力回归单元输出的回归点rN×3进行一次相加操作，可以得到初步的上采样点云rN×3。
另一路分支将原始点云直接输入到复合采样单元中。在复合采样单元中，首先是一个混合的操作，这个混合操作将原始点云和初步的上采样点云进行混合，得到具有(r+1)N个点的点云。之后，对这有(r+1)N个点的点云进行最远点采样，最远点采样相较于随机采样来说，最远点采样能够更好地覆盖初始点集，同时能够保证采样得到的点是彼此远离的，能在一定程度上保证上采样点云的相对均匀性。经过最远点采样之后，便能得到所需的符合上采样倍率要求的点云，即rN×3。
在网络模型进行训练时，建立生成的上采样点云与真值目标点云之间的损失函数。本实施例使用CD损失作为损失函数，其定义如下：
其中，S1表示预测的点云，S2表示真值点云，x是属于S1中的点，y是属于S2中的点，表示平方欧式范数。
本实施例中，使用公共数据集进行网络的训练，对公共数据集中的测试模型通过蒙特卡洛随机采样方法进行采样，将采样得到的稀疏点云输入到网络中，输出上采样后的最终点云，具体如下：
本实施例使用PU-GAN提供的数据集作为网络训练与测试所用的基础数据集，一共有147个模型，其中120个模型用作训练，27个模型用作测试。对所有的27个测试模型使用蒙特卡洛采样方法进行采样，获得测试点云。对测试点云分别添加不同等级的高斯噪声，获得多组受到噪声扰动的测试点云。
在训练过程中，通过将训练数据输入到模型中进行训练。所有模型的训练周期数为100。本发明使用的损失函数为CD损失。使用Adam优化器来优化本发明的网络模型。学习率为0.001，batch size为64。在测试过程中，将提前准备的稀疏含噪不均匀的测试点云输入到训练好的4倍上采样模型中，并使用MPU里的patch-fusion技术来生成最终的完整的密集的上采样点云。软件平台为Tensorflow。硬件平台为NVIDIA GeForce RTX 3080。
为了验证本发明方法的效果，将本方法与当前先进的点云上采样方法(PU-Net、MPU、PU-GAN、PU-GCN和Dis-PU)进行比较，采用的评估指标为CD、HD、P2F AVG和P2F STD，其值越小则表明上采样模型的效果越好。在实验中设定上采样倍率r为4，输入点云的点数N为2048。图5为实验所得到的三维点云模型上采样效果图。
实验结果：
实验1：
我们在现有的基于深度学习的点云上采样模型上(PU-Net、MPU和PU-GCN)分别增加双次注意力融合和双次注意力融合变体(如图4所示)，并和原网络进行对比实验，实验结果如下表所示。实验结果证实了双次注意力融合模块和双次注意力融合模块的变体均能够提升原有网络的性能，具有可扩展性。相对来说，双次注意力融合模块所带来的性能提升更好一点。
表1引入双次注意力融合效果对照表
实验2：
该实验是以2048个点的稀疏的输入点云为输入，本方法与PU-Net、MPU、PU-GAN、PU-GCN和Dis-PU方法的比较实验。使用CD、HD、P2F AVG和P2FSTD这四种评估指标对不同的方法的上采样结果进行比较。具体数据结果详情见下表。
表2上采样效果对照表
实验3：
该实验是加噪实验。为了测试本发明方法对于噪声的鲁棒性，我们在原先使用蒙特卡洛采样获得的2048个点的输入点云的基础上分别添加不同等级的高斯噪声，将加噪以后的点云作为网络的输入点云进行了一系列的比较实验，所添加的高斯噪声等级分别为0.1％、0.5％、1.0％和2.0％。使用CD值作为评估指标，单位为10-3。具体数据结果详情见下表。
表3加噪后上采样效果对照表
基于相同的发明构思，本发明实施例提供的一种基于源信息融合的三维点云上采样系统，包括输入模块，三维点云上采样网络模型以及输出模块；所述输入模块，用于获取包含三维坐标信息的三维点云，并输入到所述三维点云上采样网络模型中；所述三维点云上采样网络模型，用于对输入点云进行上采样，得到符合上采样倍率要求的点云；所述输出模块，用于基于所述三维点云上采样网络模型输出的点云进行物体坐标重建；所述三维点云上采样网络模型，包括：特征提取模块，用于对输入点云进行特征提取，得到提取的第一点云特征；特征融合模块，用于将第一点云特征和输入点云进行双次注意力融合，得到融合后的第二点云特征；上采样模块，用于对第二点云特征进行上采样，得到上采样后的第三点云特征；以及回归模块，用于将第三点云特征回归为点的三维坐标，生成上采样后的三维点云。网络模型各模块的具体实现参见上述方法实施例，不再赘述。本发明中未详细说明的，均为现有技术。
基于相同的发明构思，本发明实施例提供的一种计算机系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现上述的基于源信息融合的三维点云上采样方法的步骤。
Claims (7)
1.一种基于源信息融合的三维点云上采样方法，其特征在于，包括如下步骤：
步骤1：对包含三维坐标信息的输入点云进行特征提取，得到提取的第一点云特征；
步骤2：将第一点云特征和输入点云进行双次注意力融合，得到融合后的第二点云特征；所述双次注意力融合分别通过第一融合单元和第二融合单元对第一点云特征和输入点云进行融合；所述第一融合单元通过两组独立的多层感知机分别对第一点云特征和输入点云进行特征提取，得到维数相同的特征并进行转置与乘法操作后得到第一注意力特征图；所述第一注意力特征图与第一点云特征相乘后得到第一融合特征，或者与第一点云特征经多层感知机后的特征相乘后得到第一融合特征；所述第二融合单元通过两组独立的多层感知机分别对第一点云特征和输入点云进行特征提取，得到维数相同的特征并进行转置与乘法操作后得到第二注意力特征图；所述第二注意力特征图与输入点云经多层感知机后的特征相乘后得到第二融合特征；所述第一融合特征、第二融合特征和第一点云特征逐元素相加后得到双次注意力融合后的第二点云特征；
步骤3：对第二点云特征进行上采样，得到上采样后的第三点云特征；
步骤4：将第三点云特征回归为点的三维坐标，生成上采样后的三维点云；
所述步骤4中进行坐标回归时，引入自注意力和多层感知机，通过第一回归子单元和第二回归子单元将第三点云特征转换为三维坐标；所述第一回归子单元和第二回归子单元均包括一个自注意力单元和至少一组多层感知机；自注意力单元的输出作为多层感知机的输入，第一回归子单元的输出作为第二回归子单元的输入，第二回归子单元输出的特征维数为rN×3，其中r为采样倍数，N为输入点云的点数；
所述步骤4中引入原始输入点云，将其与坐标回归得到的上采样点云进行混合，对混合后的点云进行最远点采样，得到符合采样倍率要求的点云。
2.根据权利要求1所述的一种基于源信息融合的三维点云上采样方法，其特征在于，采用PU-GCN中的特征提取模块对输入点云进行特征提取，采用PU-GCN中的上采样器对第二点云特征进行上采样。
3.根据权利要求1所述的一种基于源信息融合的三维点云上采样方法，其特征在于，所述步骤2中采用双次注意力融合模块进行特征融合，所述双次注意力融合模块接受两路输入，一路输入是第一点云特征N×C，另一路输入是原始的输入点云N×3，N为输入点云的点数，C为通道数；所述双次注意力融合模块包括第一融合单元和第二融合单元；所述第一融合单元包括三组独立的多层感知机，第一组多层感知机输入为第一点云特征，输出特征N×C，第二组多层感知机输入为第一点云特征，输出特征N×C2，第三组多层感知机输入为原始输入点云，输出特征N×C2，第一融合单元中两个特征大小为N×C2的特征进行转置相乘后得到N×N的特征FMUL1，特征FMUL1经过softmax函数后得到第一注意力特征图W1；所述第二融合单元包括三组独立的多层感知机，第一组多层感知机输入为第一点云特征，输出特征N×C2，第二组多层感知机输入为原始输入点云，输出特征N×C2，第三组多层感知机输入为原始输入点云，输出特征N×C，第二融合单元中两个特征大小为N×C2的特征进行转置相乘后得到N×N的特征FMUL2，特征FMUL2经过softmax函数后得到第二注意力特征图W2；将W1和W2分别与第一融合单元中第一组多层感知机输出特征、第二融合单元中第三组多层感知机输出特征相乘后，再将结果及第一点云特征逐元素相加后得到第二点云特征N×C；其中通道数C2＜C。
4.根据权利要求1所述的一种基于源信息融合的三维点云上采样方法，其特征在于，所述步骤4中采用回归增强模块进行坐标回归，所述回归增强模块包括注意力回归单元和复合采样单元；所述注意力回归单元包括级联的第一回归子单元和第二回归子单元，所述第一回归子单元包括一个自注意力单元，以及连接在自注意力单元之后的两组级联的多层感知机，第一回归子单元的输入为第三点云特征，输出特征的大小与第三点云特征的大小相同，为rN×C1，其中r为采样倍数，N为输入点云的点数，C1为通道数；所述第二回归子单元也包括一个自注意力单元，以及连接在自注意力单元之后的两组级联的多层感知机，第二回归子单元的输入为第一回归子单元的输出，第二回归子单元的输出特征为rN×3；
所述复合采样单元，将原始输入点云复制r份，并与回归增强模块输出的特征进行相加，得到初步的上采样点云rN×3；将初步的上采样点云与原始输入点云进行混合，得到(r+1)N个点的点云，对(r+1)N个点的点云进行最远点采样，得到所需的符合上采样倍率要求的点云。
5.根据权利要求1所述的一种基于源信息融合的三维点云上采样方法，其特征在于，采用CD损失作为点云上采样的损失函数，基于训练数据集对点云上采样过程中的网络参数进行训练，以使上采样生成的点云更加接近于真值点云；所述损失函数计算公式如下：
其中，S1表示预测的点云，S2表示真值点云，x是属于S1中的点，y是属于S2中的点，表示平方欧式范数。
6.一种基于源信息融合的三维点云上采样系统，其特征在于，包括输入模块，三维点云上采样网络模型以及输出模块；所述输入模块，用于获取包含三维坐标信息的三维点云，并输入到所述三维点云上采样网络模型中；所述三维点云上采样网络模型，用于对输入点云进行上采样，得到符合上采样倍率要求的点云；所述输出模块，用于基于所述三维点云上采样网络模型输出的点云进行物体坐标重建；
所述三维点云上采样网络模型，包括：
特征提取模块，用于对输入点云进行特征提取，得到提取的第一点云特征；
特征融合模块，用于将第一点云特征和输入点云进行双次注意力融合，得到融合后的第二点云特征；所述双次注意力融合分别通过第一融合单元和第二融合单元对第一点云特征和输入点云进行融合；所述第一融合单元通过两组独立的多层感知机分别对第一点云特征和输入点云进行特征提取，得到维数相同的特征并进行转置与乘法操作后得到第一注意力特征图；所述第一注意力特征图与第一点云特征相乘后得到第一融合特征，或者与第一点云特征经多层感知机后的特征相乘后得到第一融合特征；所述第二融合单元通过两组独立的多层感知机分别对第一点云特征和输入点云进行特征提取，得到维数相同的特征并进行转置与乘法操作后得到第二注意力特征图；所述第二注意力特征图与输入点云经多层感知机后的特征相乘后得到第二融合特征；所述第一融合特征、第二融合特征和第一点云特征逐元素相加后得到双次注意力融合后的第二点云特征；
上采样模块，用于对第二点云特征进行上采样，得到上采样后的第三点云特征；
以及回归模块，用于将第三点云特征回归为点的三维坐标，生成上采样后的三维点云；
所述回归模块中进行坐标回归时，引入自注意力和多层感知机，通过第一回归子单元和第二回归子单元将第三点云特征转换为三维坐标；所述第一回归子单元和第二回归子单元均包括一个自注意力单元和至少一组多层感知机；自注意力单元的输出作为多层感知机的输入，第一回归子单元的输出作为第二回归子单元的输入，第二回归子单元输出的特征维数为rN×3，其中r为采样倍数，N为输入点云的点数；所述回归模块中还引入原始输入点云，将其与坐标回归得到的上采样点云进行混合，对混合后的点云进行最远点采样，得到符合采样倍率要求的点云。
7.一种计算机系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被加载至处理器时实现根据权利要求1-5任一项所述的基于源信息融合的三维点云上采样方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211252976.9A CN115661340B (zh) | 2022-10-13 | 2022-10-13 | 一种基于源信息融合的三维点云上采样方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211252976.9A CN115661340B (zh) | 2022-10-13 | 2022-10-13 | 一种基于源信息融合的三维点云上采样方法与系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115661340A CN115661340A (zh) | 2023-01-31 |
| CN115661340B true CN115661340B (zh) | 2024-05-28 |
Family
ID=84987293
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211252976.9A Active CN115661340B (zh) | 2022-10-13 | 2022-10-13 | 一种基于源信息融合的三维点云上采样方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115661340B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116824064B (zh) * | 2023-07-14 | 2024-06-04 | 湖南大学 | 点云数据模型生成方法、装置、计算设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111724478A (zh) * | 2020-05-19 | 2020-09-29 | 华南理工大学 | 一种基于深度学习的点云上采样方法 |
| CN112347987A (zh) * | 2020-11-30 | 2021-02-09 | 江南大学 | 一种多模数据融合的三维目标检测方法 |
| CN112348959A (zh) * | 2020-11-23 | 2021-02-09 | 杭州师范大学 | 一种基于深度学习的自适应扰动点云上采样方法 |
| CN113379819A (zh) * | 2020-03-09 | 2021-09-10 | 辉达公司 | 使用神经网络来扩展图像的技术 |
| CN114091628A (zh) * | 2022-01-20 | 2022-02-25 | 山东大学 | 基于双分支网络的三维点云上采样方法及系统 |
| CN114549757A (zh) * | 2022-02-24 | 2022-05-27 | 杭州电子科技大学 | 一种基于注意力机制的三维点云上采样方法 |
| CN114792372A (zh) * | 2022-06-22 | 2022-07-26 | 广东工业大学 | 一种基于多头两级注意力的三维点云语义分割方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9972067B2 (en) * | 2016-10-11 | 2018-05-15 | The Boeing Company | System and method for upsampling of sparse point cloud for 3D registration |
-
2022
- 2022-10-13 CN CN202211252976.9A patent/CN115661340B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113379819A (zh) * | 2020-03-09 | 2021-09-10 | 辉达公司 | 使用神经网络来扩展图像的技术 |
| CN111724478A (zh) * | 2020-05-19 | 2020-09-29 | 华南理工大学 | 一种基于深度学习的点云上采样方法 |
| CN112348959A (zh) * | 2020-11-23 | 2021-02-09 | 杭州师范大学 | 一种基于深度学习的自适应扰动点云上采样方法 |
| CN112347987A (zh) * | 2020-11-30 | 2021-02-09 | 江南大学 | 一种多模数据融合的三维目标检测方法 |
| CN114091628A (zh) * | 2022-01-20 | 2022-02-25 | 山东大学 | 基于双分支网络的三维点云上采样方法及系统 |
| CN114549757A (zh) * | 2022-02-24 | 2022-05-27 | 杭州电子科技大学 | 一种基于注意力机制的三维点云上采样方法 |
| CN114792372A (zh) * | 2022-06-22 | 2022-07-26 | 广东工业大学 | 一种基于多头两级注意力的三维点云语义分割方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| 《PU-Net_Point_Cloud_Upsampling_Network》;Lequan Yu;《2018 IEEECVF Conference on Computer Vision and Pattern Recognition》;20180623;2790-2799 * |
| 《基于双注意力融合和残差优化的点云语义分割》;于魁梧;《理论与方法》;20220815;12-18 * |
| 《基于深度学习的三维点云上采样技术研究》;邱驰;《中国优秀硕士学位论文全文库》;20220915;I138-237 * |
| 结合混合域注意力与空洞卷积的3维目标检测;严娟;方志军;高永彬;;中国图象图形学报;20200616(第06期);1221-1234页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115661340A (zh) | 2023-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112241997B (zh) | 基于多尺度点云上采样的三维模型建立、修复方法及系统 | |
| CN112396607B (zh) | 一种可变形卷积融合增强的街景图像语义分割方法 | |
| CN111861906B (zh) | 一种路面裂缝图像虚拟增广模型建立及图像虚拟增广方法 | |
| CN113052955B (zh) | 一种点云补全方法、系统及应用 | |
| Huang et al. | High-quality face image generated with conditional boundary equilibrium generative adversarial networks | |
| CN112785526B (zh) | 一种用于图形处理的三维点云修复方法 | |
| CN112215755A (zh) | 一种基于反投影注意力网络的图像超分辨率重建方法 | |
| Shim et al. | Diffusion-based signed distance fields for 3d shape generation | |
| CN115661340B (zh) | 一种基于源信息融合的三维点云上采样方法与系统 | |
| CN111028335A (zh) | 一种基于深度学习的点云数据的分块面片重建方法 | |
| Rios et al. | Feature visualization for 3D point cloud autoencoders | |
| CN117454495B (zh) | 一种基于建筑草图轮廓序列的cad矢量模型生成方法及装置 | |
| CN114091628A (zh) | 基于双分支网络的三维点云上采样方法及系统 | |
| Hu et al. | Node graph optimization using differentiable proxies | |
| Wang et al. | 3D model inpainting based on 3D deep convolutional generative adversarial network | |
| CN114494387A (zh) | 一种生成数据集网络模型及雾图生成方法 | |
| Zhu et al. | Colorful 3d reconstruction from a single image based on deep learning | |
| Fei et al. | Progressive Growth for Point Cloud Completion by Surface-Projection Optimization | |
| CN116188273A (zh) | 一种基于不确定性导向的双模态可分离图像超分辨率方法 | |
| CN116188690A (zh) | 一种基于空间骨架信息的手绘草图三维模型重建方法 | |
| Li et al. | DPG-Net: Densely progressive-growing network for point cloud completion | |
| CN112862946A (zh) | 基于级联条件生成对抗网络的灰度岩心图像三维重建方法 | |
| CN112837420B (zh) | 基于多尺度和折叠结构的兵马俑点云的形状补全方法及系统 | |
| CN113808006B (zh) | 一种基于二维图像重建三维网格模型的方法及装置 | |
| CN113593007B (zh) | 一种基于变分自编码的单视图三维点云重建方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |