CN114048845A - 点云修复方法、装置、计算机设备和存储介质 - Google Patents
点云修复方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN114048845A CN114048845A CN202210040558.7A CN202210040558A CN114048845A CN 114048845 A CN114048845 A CN 114048845A CN 202210040558 A CN202210040558 A CN 202210040558A CN 114048845 A CN114048845 A CN 114048845A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- feature
- features
- repaired
- coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 126
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 239000013598 vector Substances 0.000 claims abstract description 170
- 238000005070 sampling Methods 0.000 claims abstract description 96
- 230000002776 aggregation Effects 0.000 claims abstract description 36
- 238000004220 aggregation Methods 0.000 claims abstract description 36
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 34
- 239000011159 matrix material Substances 0.000 claims description 36
- 230000006870 function Effects 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 17
- 230000008439 repair process Effects 0.000 claims description 16
- 230000000694 effects Effects 0.000 abstract description 15
- 230000009467 reduction Effects 0.000 abstract description 10
- 230000000875 corresponding effect Effects 0.000 description 110
- 230000008569 process Effects 0.000 description 33
- 238000010586 diagram Methods 0.000 description 22
- 238000009826 distribution Methods 0.000 description 13
- 238000000605 extraction Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 229910052799 carbon Inorganic materials 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000002349 favourable effect Effects 0.000 description 3
- 239000000243 solution Substances 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000009827 uniform distribution Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 241000764238 Isis Species 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000002775 capsule Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010790 dilution Methods 0.000 description 1
- 239000012895 dilution Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 239000013067 intermediate product Substances 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种点云修复方法、装置、计算机设备和存储介质。所述方法包括：获取待修复点云特征，待修复点云特征的投影信息基于注意力算法进行加权聚合，得到待修复点云的结构化特征，基于结构化特征，确定全局特征对应的点云；基于组合的待修复点云与全局特征对应的点云进行编码，得到编码特征，降维编码特征，得到第一编码特征向量；基于采样率扩充第一编码特征向量，得到第一目标特征，对第一目标特征下采样，得到第二编码特征向量；计算第一编码特征向量与第二编码特征向量的差异信息，基于上采样的差异信息修复第一目标特征，得到已修复点云。采用本方法能够提升局部细节的数量，细化全局特征的粒度，使得修复的效果更好。
Description
技术领域
本申请涉及图像修复技术领域，特别是涉及一种点云修复方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着三维采集技术的快速发展，3D传感器越来越易获取，且价格也越来越便宜，包括各种三维扫描仪，激光雷达和RGBD深度相机。通过这些设备采集的三维数据具有丰富的几何，形状和尺度信息。三维数据通常被表示为多种形式，包括深度图，点云，网格和体素。点云因其可以很好地保留物体原有的三维几何信息，常被作为首选的三维物体表示形式，广泛地应用于许多三维场景理解的任务中，包括自动驾驶和机器人导航等。现实世界中的点云数据通常使用激光扫描仪等设备来捕获。由于采集过程中可能出现的视线遮挡，光线较弱，视角受限等问题，采集到的点云通常是高度离散且不完整的，其几何和语义信息存在一定的丢失。因此，从局部的不完整点云中推理出物体的拓扑性质和几何结构，修复出完整点云，可以提高真实采集数据的质量，降低对采集数据进一步分析的困难，具有重要的意义。
发明内容
基于此，有必要针对上述技术问题，提供一种能够修复更多采样点的点云修复方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种点云修复方法。所述方法包括：
获取待修复点云特征，所述待修复点云特征的投影信息基于注意力算法进行加权聚合，得到待修复点云的结构化特征，基于所述结构化特征，确定全局特征对应的点云；
基于组合的所述待修复点云与所述全局特征对应的点云进行编码，得到编码特征，降维所述编码特征，得到第一编码特征向量；
基于采样率扩充所述第一编码特征向量，得到第一目标特征，对所述第一目标特征下采样，得到第二编码特征向量；
基于所述第一编码特征向量与所述第二编码特征向量计算差异信息，对所述差异信息进行上采样，基于上采样的所述差异信息修复所述第一目标特征，得到第二目标特征，基于组合的所述全局特征对应的点云与所述第二目标特征对应的点云，得到所述待修复点云对应的已修复点云。
在其中一个实施例中， 所述待修复点云特征的投影信息基于注意力算法进行加权聚合，得到待修复点云的结构化特征，包括：
确定待修复点云特征的值集合与所述待修复点云特征的索引集合；
获取待训练的查询集合，所述查询集合对应于预设维度；
按照所述预设维度，对所述值集合、所述索引集合及所述查询集合分别进行投影，得到所述值集合、所述索引集合及所述查询集合分别对应的预设维度投影向量集合；
基于注意力函数，对各预设维度投影向量集合中的投影特征进行加权聚合，得到权重矩阵，拼接所述权重矩阵，得到待修复点云的二维特征结构图。
在其中一个实施例中， 所述预设维度投影向量集合包括预设维度下的线性投影索引集合、线性投影查询集合及线性投影值集合，所述权重矩阵包括待修复点云特征的权重矩阵；
所述基于注意力函数，对各预设维度投影向量集合中的投影特征进行加权聚合，包括：
对所述线性投影查询集合与转置后的所述线性投影索引集合进行缩放，得到缩放集合；
将所述缩放集合与所述线性投影值集合进行组合，得到对应于待修复点云特征的权重矩阵。
在其中一个实施例中， 所述待修复点云的结构化特征是二维特征图，所述基于所述结构化特征，确定全局特征对应的点云，包括：
基于所述二维特征图进行语义特征提取，得到全局特征；
对所述全局特征进行回归计算，得到全局特征对应的点云。
在其中一个实施例中， 所述基于组合的所述待修复点云与所述全局特征对应的点云进行编码，得到编码特征，包括：
对所述待修复点云与所述全局特征对应的点云进行拼接，并从拼接后的点云中，提取出编码采样点，对所述编码采样点进行局部特征提取，得到第一待编码特征；
对所述待修复点云中提取出的特征与所述全局特征对应的点云中分别提取出的特征进行拼接，得到拼接后的特征；
基于所述编码采样点，从所述拼接后的特征中提取出编码采样点对应的特征，所述编码采样点对应的特征基于注意力算法进行加权聚合，得到第二待编码特征；
对拼接后的所述第一待编码特征与第二待编码特征，进行编码，得到所述编码特征。
在其中一个实施例中， 所述基于所述第一编码特征向量与所述第二编码特征向量计算差异信息，对所述差异信息进行上采样包括：
基于所述注意力算法，基于所述第一编码特征向量与所述第二编码特征向量的同位值进行计算，得到差异信息；
基于所述采样率，对所述差异信息进行上采样。
在其中一个实施例中， 当计算所述第一编码特征向量与所述第二编码特征向量的差异信息时，所述方法还包括：
将已计算差异信息的所述第二编码特征向量，确定为下一轮迭代计算的所述第一编码特征向量；
所述基于上采样的所述差异信息修复所述第一目标特征，得到第二目标特征，包括：
将当前迭代计算出的第二目标特征向量，作为下一轮迭代中的第一目标特征向量。
第二方面，本申请还提供了一种点云修复装置。所述装置包括：
粗糙点云生成模块，用于获取待修复点云特征，所述待修复点云特征的投影信息基于注意力算法进行加权聚合，得到待修复点云的结构化特征，基于所述结构化特征，确定全局特征对应的点云；
稀疏特征获取模块，用于基于组合的所述待修复点云与所述全局特征对应的点云进行编码，得到编码特征，降维所述编码特征，得到第一编码特征向量；
稠密特征生成模块，用于基于采样率扩充所述编码特征，得到第一目标特征，对所述第一目标特征下采样，得到第二编码特征向量；
点云修复模块，用于基于所述第一编码特征向量与所述第二编码特征向量计算差异信息，对所述差异信息进行上采样，基于上采样的所述差异信息修复所述第一目标特征，得到第二目标特征，基于组合的所述全局特征对应的点云与所述第二目标特征对应的点云，得到所述待修复点云对应的已修复点云。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待修复点云特征，所述待修复点云特征的投影信息基于注意力算法进行加权聚合，得到待修复点云的结构化特征，基于所述结构化特征，确定全局特征对应的点云；
基于组合的所述待修复点云与所述全局特征对应的点云进行编码，得到编码特征，降维所述编码特征，得到第一编码特征向量；
基于采样率扩充所述第一编码特征向量，得到第一目标特征，对所述第一目标特征下采样，得到第二编码特征向量；
基于所述第一编码特征向量与所述第二编码特征向量计算差异信息，对所述差异信息进行上采样，基于上采样的所述差异信息修复所述第一目标特征，得到第二目标特征，基于组合的所述全局特征对应的点云与所述第二目标特征对应的点云，得到所述待修复点云对应的已修复点云。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待修复点云特征，所述待修复点云特征的投影信息基于注意力算法进行加权聚合，得到待修复点云的结构化特征，基于所述结构化特征，确定全局特征对应的点云；
基于组合的所述待修复点云与所述全局特征对应的点云进行编码，得到编码特征，降维所述编码特征，得到第一编码特征向量；
基于采样率扩充所述第一编码特征向量，得到第一目标特征，对所述第一目标特征下采样，得到第二编码特征向量；
基于所述第一编码特征向量与所述第二编码特征向量计算差异信息，对所述差异信息进行上采样，基于上采样的所述差异信息修复所述第一目标特征，得到第二目标特征，基于组合的所述全局特征对应的点云与所述第二目标特征对应的点云，得到所述待修复点云对应的已修复点云。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取待修复点云特征，所述待修复点云特征的投影信息基于注意力算法进行加权聚合，得到待修复点云的结构化特征，基于所述结构化特征，确定全局特征对应的点云；
基于组合的所述待修复点云与所述全局特征对应的点云进行编码，得到编码特征，降维所述编码特征，得到第一编码特征向量；
基于采样率扩充所述第一编码特征向量，得到第一目标特征，对所述第一目标特征下采样，得到第二编码特征向量；
基于所述第一编码特征向量与所述第二编码特征向量计算差异信息，对所述差异信息进行上采样，基于上采样的所述差异信息修复所述第一目标特征，得到第二目标特征，基于组合的所述全局特征对应的点云与所述第二目标特征对应的点云，得到所述待修复点云对应的已修复点云。
上述点云修复方法、装置、计算机设备、存储介质和计算机程序产品，该方法，获取待修复点云特征，待修复点云特征的投影信息基于注意力算法进行加权聚合，得到待修复点云的结构化特征，基于结构化特征，确定全局特征对应的点云；基于组合的待修复点云与全局特征对应的点云进行编码，得到编码特征，降维编码特征，得到第一编码特征向量；基于采样率扩充第一编码特征向量，得到第一目标特征，对第一目标特征下采样，得到第二编码特征向量；计算第一编码特征向量与第二编码特征向量的差异信息，对差异信息进行上采样，基于上采样的差异信息修复第一目标特征，得到待修复点云特征对应的已修复点云。由此，基于注意力算法加权聚合，得到了待修复点云的结构化特征，该结构化特征的局部细节较为丰富，因而全局特征的粒度更细，使得修复的效果更好；同时，第一编码特征向量与第二编码特征向量进行差异信息计算的相关过程中，通过上采样的差异信息完善第一目标特征，点云修复的效果更佳。
附图说明
图1为一个实施例中点云修复方法的应用环境图；
图2为一个实施例中点云修复方法的流程示意图；
图3为一个实施例中得到二维结果特征图的流程示意图；
图4为一个实施例中得到权重矩阵的流程示意图；
图5为另一个实施例中得到粗糙点云的流程示意图；
图6为一个实施例中对粗糙点云进行特征提取的流程示意图；
图7为另一个实施例中获取编码特征的流程示意图；
图8为一个实施例中差异信息计算的流程示意图；
图9为另一个实施例中迭代计算的流程示意图；
图10为一个实施例中得到粗糙点云的流程示意图；
图11为另一个实施例中得到稠密点云的流程示意图；
图12为一个实施例中二维结构化特征图的流程示意图；
图13为另一个实施例中生成粗糙点云的流程示意图；
图14为一个实施例中得到编码特征的流程示意图；
图15为另一个实施例中得到第二目标特征的流程示意图；
图16为一个实施例中上采样的流程示意图；
图17为另一个实施例中下采样的流程示意图；
图18为一个实施例中自注意力算法的流程示意图；
图19为另一个实施例中得到已修复点云的流程示意图；
图20为一个实施例中输入的待修复点云示意图；
图21为一个实施例中传统的VRCNet技术修复的点云效果图；
图22为一个实施例中传统的SnowflakeNet技术修复的点云效果图；
图23为一个实施例中本申请修复的点云效果图；
图24为一个实施例中真实的点云效果图；
图25为一个实施例中进行比对的效果示意图；
图26为另一个实施例中进行比对的效果示意图；
图27为一个实施例中进行比对的全局特征示意图；
图28为另一个实施例中进行比对的效果示意图；
图29为一个实施例中点云修复装置的结构框图；
图30为一个实施例中计算机设备的内部结构图。
具体实施方式
在采集三维数据的过程中，充当目标的事物，其可以是可以触碰到的任何事物，可以是汽车或台灯等任意物体。通过三维扫描仪，激光雷达和RGBD深度相机等三维传感器设备对目标物体的进行采样后，就采集可以得到目标物体的点云，目标物体的点云可以是某个坐标系下的坐标点集合，例如目标物体的点云可以是一组三维向量的集合。
在理论上，通过三维传感器设备采样后，可以直接得到点云，然而，在实际操作中，常常因为三维传感器设备的采样能力或环境等因素的影响，由于采集过程中可能出现的视线遮挡，光线较弱，视角受限等问题，采集到的点云通常是高度离散且不完整的，其几何和语义信息存在一定的丢失。因此，从局部的不完整点云中推理出物体的拓扑性质和几何结构，补全出完整点云，可以提高真实采集数据的质量，降低对采集数据进一步分析的困难，具有重要的意义。
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的点云修复方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。该方法可以通过终端102和/或服务器104实现相应的效果。
在一个实施例中，如图2所示，提供了一种点云修复方法，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：
步骤202，获取待修复点云特征，待修复点云特征的投影信息基于注意力算法进行加权聚合，得到待修复点云的结构化特征，基于结构化特征，确定全局特征对应的点云。
在一个可选地实施例中，待修复点云特征的投影信息是待修复点云特征投影后所得，而在投影之前，可选择获取一个预设查询集合，在该预设查询集合中，向量具有预设维度，预设维度的向量数量也是预设的。
而在投影的过程中，待修复点云特征要划分为索引集合和索引集合对应的值集合，进一步地，查询集合、索引集合、值集合分别以预设维度向量为基准，进行相同次数的投影，进而得到维度相同的三个向量组，各向量组中的向量数量与投影次数相关。
在得到投影信息之后，需要将查询集合、待修复点云特征的索引，待修复点云特征的值输入注意力函数进行加权聚合，得到三个向量组所共同对应的特征矩阵，特征矩阵是投影信息的加权和；其中，特征矩阵的大小与查询集合的向量预设维度相关，且与查询集合的各预设维度的向量数量相关；而特征矩阵的数量与投影的次数相关，例如：查询集合中的向量含有k个d维向量，投影次数为h次，则特征矩阵的大小为
，特征矩阵的数量为h个。
在基于投影信息得到特征矩阵后，将各个特征矩阵相拼接，就生成了待修复点云的结构化特征，结构化特征的通道数量与特征矩阵的数量正相关，结构化特征的大小与特征矩阵的大小正相关。例如：特征矩阵的大小为
，特征矩阵的数量为h个，则结构化特征的通道数量为h个，大小为
，表示为
，其中，SFM是二维特征图。
区别于传统方法，本实施例并不使用通过最大池化操作将输入点云各点的特征聚合为全局特征向量(缩写：GFV)，以单一的向量作为输入点云的全局特征；而是对投影信息进行加权并聚合的，因而，在聚合的过程中，特征结构化特征与输入点的顺序无关，满足点云处理的排列不变性约束，以发掘并组合点云中潜在的局部信息，相当于提供一种新手段来获取更为细粒的全局特征。在得到结构化特征之后，会对结构化特征进行特征提取，以得到全局特征，再应用全局特征进行回归，以得到全局特征对应的点云，全局特征对应的点云是一个粗糙点云，用于描述全局特征，且粒度细化程度更高。
步骤204，基于组合的待修复点云与全局特征对应的点云进行编码，得到编码特征，降维编码特征，得到第一编码特征向量。
待修复点云与全局特征对应的点云，均对应于目标物体的点云数据，而组合待修复点云与全局特征对应的点云之前，还可分别对待修复点云与全局特征对应的点云进行特征提取，以进一步发掘待修复点云的局部信息；也可从输入点云Pi和粗糙点云Pc中采样点来保留输入点云的结构；如果在发掘待修复点云的局部信息且确定点云的结构之后，将两种运算所输出的特征进行拼接，进而得到编码特征，此时的编码特征用于扩充的效果更佳。编码特征，是具有局部及上下文信息的特征信息，其对应于稀疏点云。
得到编码特征之后，编码特征还需要进行降维，降维的方法可以是线性降维方法或非线性降维方法，而对编码特征降维之后，所得的第一编码特征向量可以是初始稀疏特征；其中，初始稀疏特征是一个相对的概念，相对于稀疏特征的迭代、递归等方式计算而言，降维度的编码特征是一个初始稀疏特征；而相对于扩充的第一编码特征向量，初始稀疏特征是相对稀疏的。
步骤206，基于采样率扩充第一编码特征向量，得到第一目标特征，对第一目标特征下采样，得到第二编码特征向量。
基于采样率扩充第一编码特征向量的这一过程，是按照采样率，对编码特征上采样的过程，在上采样之后，得到扩充的第一编码特征向量，即第一目标特征。第一目标特征相对于编码特征而言，具有更多的采样点，且维度是与初始稠密特征相当的。因而，第一目标特征可以认为是初始稠密特征，初始稠密特征所对应的点云具有较多的点，其点数是初始稀疏特征的多倍，而其倍数可以与采样率相当。例如：上采样率为r，则在初始稠密特征对应的矩阵大小，是初始稀疏特征对应的矩阵大小的r倍。
在扩充第一编码特征向量之后，为了修复第一编码特征向量，需要再对第一目标特征进行下采样，得到第二编码特征向量，以便于计算差异信息，进而完善回归出具有良好细节，且表面均匀的已修复点云。
步骤208，基于第一编码特征向量与第二编码特征向量计算差异信息，对差异信息进行上采样，基于上采样的差异信息修复第一目标特征，得到第二目标特征，基于全局特征对应的点云与第二目标特征对应的点云，得到待修复点云对应的已修复点云。
第一编码特征向量与第二编码特征向量的差异信息，是基于第一编码特征向量与第二编码特征向量分别对应的向量进行计算所得，其计算过程可以是基于自注意力算法所进行的，而自注意力算法用于挖掘局部信息，从而完善差异信息，进而修复扩充的第一编码特征向量，而修复后的第一目标特征对应于已修复点云，已修复点云是一个相对稠密的点云，其中的采样点数相对较多。
基于第二目标特征对待修复点云进行修复的过程，是待修复点云与全局特征对应的点云的组合进行的，其中，在分别待修复点云与全局特征对应的点云中的各采样点提取出来之后，再将提取出的采样点组合，组合后的点云是修复过程中的中间产物，而使用组合后的点云进行修复后，所得到的点云就是已修复点云了。
上述点云修复方法中，获取待修复点云特征，待修复点云特征的投影信息基于注意力算法进行加权聚合，得到待修复点云的结构化特征，基于结构化特征，确定全局特征对应的点云；基于组合的待修复点云与全局特征对应的点云进行编码，得到编码特征，降维编码特征，得到第一编码特征向量；基于采样率扩充第一编码特征向量，得到第一目标特征，对第一目标特征下采样，得到第二编码特征向量；计算第一编码特征向量与第二编码特征向量的差异信息，对差异信息进行上采样，基于上采样的差异信息修复第一目标特征，得到待修复点云特征对应的已修复点云。由此，基于注意力算法加权聚合，得到了待修复点云的结构化特征，该结构化特征的局部细节较为丰富，因而全局特征的粒度更细，使得修复的效果更好；同时，第一编码特征向量与第二编码特征向量进行差异信息计算的相关过程中，通过上采样的差异信息完善第一目标特征，点云修复的效果更佳。
在一个实施例中，如图3所示，待修复点云特征的投影信息基于注意力算法进行加权聚合，得到待修复点云的结构化特征，包括：
步骤302，确定待修复点云特征的值集合与待修复点云特征的索引集合。
其中，值集合可以是待修复点云特征本身，也可以是待修复点云特征中的一部分；相对应的，索引集合可以是待修复点云特征对应的标识序号，也可以是待修复点云特征中的一部分。
步骤304，获取待训练的查询集合，查询集合对应于预设维度。
待训练的查询集合，是待学习的向量集合，其包括预设数量的向量与预设维度的向量，预设数量与预设维度均用于表征向量集合中的向量数量，与此同时，预设维度还用于确定投影信息所在维度；例如：一个查询集合是含有k个d维向量的可学习向量集合，表示为
，其中，S表示查询集合，R表示矩阵。
步骤306，按照预设维度，对值集合、索引集合及查询集合分别进行投影，得到值集合、索引集合及查询集合分别对应的预设维度投影向量集合。
对值集合、索引集合及查询集合分别进行线性投影之后，原有的特征数量会进一步扩充，而扩充后的这三个集合，仍然具有对应关系。例如：当值集合、索引集合及查询集合分别设有一个元素，预设维度是有两个，则各个集合投影之后，所得的预设维度投影向量集合中，各集合分别设有两个预设维度的元素，且值集合与索引集合之间的对应关系并不被改变。
步骤308，基于注意力函数，对各预设维度投影向量集合中的投影特征进行加权聚合，得到权重矩阵，拼接权重矩阵，得到待修复点云的二维特征结构图。
在投影之后，投影特征基于注意力函数进行加权后，可以更好地挖掘出局部信息，而由于投影特征是线性的，且基于注意力函数进行特征聚合，因此，特征结构化网络聚合特征的过程与输入点的顺序无关，满足点云处理的排列不变性约束。
本实施例中，通过线性投影和注意力函数相结合的手段，在点云修复领域提供一种获取新全局特征的前置手段，通过这一前置手段，能够更好地表征不完整点云所对应的目标物体的整体结构和局部细节，以更好地实现点云修复，甚至补全点云。
在一个实施例中，如图4所示，对注意力函数进行描述，预设维度投影向量集合包括预设维度下的线性投影索引集合、线性投影查询集合及线性投影值集合，权重矩阵包括待修复点云特征的权重矩阵。
基于注意力函数，对各预设维度投影向量集合中的投影特征进行加权聚合，包括：
步骤402，对线性投影查询集合与转置后的线性投影索引集合进行缩放，得到缩放集合。
线性投影查询集合与转置后的线性投影索引集合均是矩阵，而对这两个矩阵相乘后，才会进行缩放，以得到缩放集合；缩放集合对应于注意力分数，注意力分数表征线性投影查询集合与转置后的线性投影索引集合之间的匹配程度。为了更便于计算，可以对缩放集合进行归一化，得到归一化的缩放集合。
步骤404，将缩放集合与线性投影值集合进行组合，得到对应于待修复点云特征的权重矩阵。
其中，缩放集合仍然是一个矩阵，表示待修复点云特征与线性投影值集合的匹配程度，而进行组合的操作，也可以是矩阵乘法，进而得到应于待修复点云特征的权重矩阵，通过新的手段，得到相应的特征。
本实施例中，通过缩放集合确定了匹配程度，通过权重矩阵，表征相应的权重，进而提供了一种较优的手段，能够挖掘局部信息，更全面地构建出全局特征，且无需考虑云点输入的顺序。
在一个实施例中，如图5所示，确定全局特征对应的点云。待修复点云的结构化特征是二维特征图，基于结构化特征，确定全局特征对应的点云，包括：
步骤502，基于二维特征图进行语义特征提取，得到全局特征。
步骤504，对全局特征进行回归计算，得到全局特征对应的点云。
二维特征图是较为常见的，因而，可以使用二维卷积的方式，进行特征提取，其包括常规卷积的特征提取和上采样特征提取两部分；其所使用的流程图如图6所示，图6中，二维卷积网络由七个卷积块组成，包含两种卷积块：常规卷积块（缩写：ConvBlock）和上采样卷积块（缩写：UpConvBlock），其中，Conv2D(C，K，S，P)表示一个二维卷积操作，C表示输出的通道数，K表示卷积核的大小，S表示步长和P表示填充值；BatchNorm2d(C)表示二维批归一化操作，C表示输入的通道数；ReLU表示ReLU激活函数；MaxPool(K，S)表示最大池化操作，K和S分别表示卷积核的大小和步长；Upsample(R)表示最近邻上采样操作，R表示上采样率。Conv1D(C，K，S，P)表示一维卷积操作，C，K，S和P分别表示C输出的通道数，K卷积核的大小，S步长和P填充值。UpConvBlock(C)和ConvBlock(C)为两类卷积块，C表示卷积块输出的通道数。
本实施例中，通过二维特征图进行高级语义信息的学习，即可获得全局特征对应的点云，该点云相对于已修复点云较为粗糙，可称为粗糙点云，粗糙点云已经在一定程度上补全了至少部分特征，实现了至少部分修复的功能。
在一个实施例中，如图7所示，基于待修复点云与全局特征对应的点云的组合进行编码，得到编码特征，包括：
步骤702，对待修复点云与全局特征对应的点云进行拼接，并从拼接后的点云中，提取出编码采样点，对编码采样点进行局部特征提取，得到第一待编码特征。
提取出编码采样点的手段，会采用最远采样操作（FPS）；而对编码采样点进行局部特征提取的手段，是图像特征提取的手段，其通过顺序堆叠多个图卷积网络对每个点进行领域特征的提取，由此，可以得到较为完整的几何结构，相当于对待修复点云的几何结构进行了修复。
步骤704，对待修复点云提取出的特征与全局特征对应的点云提取的特征进行拼接，得到拼接后的特征。
其中，对几何结构与全局特征对应的点云提取的特征的过程，是重新获取特征的过程，以便于挖掘出局部区域的结构细节。而将待修复点云与全局特征对应的点云进行拼接，是特征修复的部分过程，拼接后的特征包括从待修复点云提取出的特征，以及，全局特征对应的点云提取的特征。
步骤706，基于编码采样点，从拼接后的特征中提取出编码采样点对应的特征，编码采样点对应的特征基于自注意力算法进行加权聚合，得到第二待编码特征。
在得到第二待编码特征的过程中，编码采样点对应的特征是包括从待修复点云提取出的特征，以及，全局特征对应的点云提取的特征；而从整体上来看，来自不同的点云的两种特征的维度是不同的，其中，如果从待修复点云中所提取出的特征是一维的，则全局特征对应的点云中所提取的特征是二维的，因而需要使用自注意力算法进行加权聚合，才可以得到第二待编码特征，第二待编码特征用于表示重新访问的特征。
步骤708，对拼接后的第一待编码特征与第二待编码特征，进行编码，得到编码特征。
本实施例中，通过第一待编码特征复原了待修复点云的整体几何结构，通过第二待编码特征进行特征的重新提取，修复了部分特征，而获得第二待编码特征的过程中，使用了自注意力算法进行计算，合并了不同维度的特征。
在一个实施例中，如图8所示，基于第一编码特征向量与第二编码特征向量计算差异信息，对差异信息进行上采样包括：
步骤802，基于自注意力算法，基于第一编码特征向量与第二编码特征向量的同位值进行计算，得到差异信息。
步骤804，基于采样率，对差异信息进行上采样。
本实施例中，通过自注意力算法来捕捉长范围的上下文信息，且基于采样率对差异信息上采样，可以扩大差异信息的区别度，由此，可以便于纠正各个点云中的问题，进而保障点云修复的效果，实现补全点云。
在一个实施例中，如图9所示，当计算第一编码特征向量与第二编码特征向量的差异信息时，方法还包括：
步骤902，将已计算差异信息的第二编码特征向量，确定为下一轮迭代计算的第一编码特征向量。
基于上采样的差异信息修复第一目标特征，得到第二目标特征，包括：
步骤904，将当前迭代计算出的第二目标特征向量，作为下一轮迭代中的第一目标特征向量。
本实施例中，通过多轮迭代训练，使得差异信息之间的区别进一步扩展，相当于进行了特征纠错的迭代过程，可以进一步的完善特征获取的效果。
上述各实施例中，分别有其侧重的创新点，为了更好地明晰本申请的技术方案，将使用一个较为具体的实施方式，对本申请的方案详加论述。
点云因其可以很好地保留物体原有的三维几何信息，常被作为首选的三维物体表示形式，广泛地应用于许多三维场景理解的任务中，包括自动驾驶和机器人导航等。现实世界中的点云数据通常使用激光扫描仪等设备来捕获。由于采集过程中可能出现的视线遮挡，光线较弱，视角受限等问题，采集到的点云通常是高度离散且不完整的，其几何和语义信息存在一定的丢失。因此，从局部的不完整点云中推理出物体的拓扑性质和几何结构，补全出完整点云，可以提高真实采集数据的质量，降低对采集数据进一步分析的困难，具有重要的意义。
从特征学习的角度，现有的基于学习的方法大多采用特征向量GFV作为输入点云的全局特征，存在一定的信息损失，当输入点云缺失较多时，不利于恢复出其原有的结构。此外，由于现有的点云补全模型大多借鉴点云方法中的特征拓充技术来进行稠密点云的生成，因此从点云上采样的角度而言，现有的基于学习的点云上采样方法在特征拓充时大多只进行一步或者两步的操作，不利于处理点云补全任务中输入为不完整且不均匀分布点云的情况。
本发明的目的在于解决上述的两个问题：一是提出一种比GFV更好的全局特征表示，表征更为细粒的全局特征；二是提出一个更好的特征拓充模块，有利于生成表面点分布更为均匀的稠密点云。
本发明提出了两个新的神经网络，特征结构化网络(缩写：FSNet)和迭代反馈网络(缩写：IFNet)，并将这两个网络整合到了一个两阶段的点云补全框架中，第一个阶段生成描述目标物体整体结构的粗糙补全点云，第二个阶段进行细节的完善，生成具有良好细节和均匀表面点分布的稠密点云。其中，特征结构化网络可以通过学习多个的潜在的局部信息组合，自适应地将输入点云的各点特征聚合为一个二维特征图，保留更多的输入信息。迭代反馈网络具有自纠正特性，可以通过多步的优化逐步改善补全结果的细节质量与表面点分布的均匀程度。
如图10与图11所示，本发明提出的是一个两阶段点云补全框架，包括粗糙点云生成阶段和点云上采样阶段。在粗糙点云生成阶段，给定一个不完整点云
，表示一个含有Ni个3维点的集合，也即一个Ni×3的矩阵，将该点云作为输入，点云编码器从中提取各点特征对应的向量
，然后特征结构化网络将各点特征Fi聚合为二维的结构化特征图SFM，作为输入物体的全局表征，最后点云解码器网络以结构化特征图SFM作为输入，生成粗糙点云
。在点云上采样阶段，稀疏编码模块从粗糙点云与输入点云中采样出稀疏点云，并提取稀疏点云的特征
，迭代反馈网络将通过多轮迭代优化将FS进行拓充，得到稠密点云的特征
，最后偏置回归网络将利用
回归出具有良好细节和均匀表面点分布的稠密点云
。其中N标识正整数，
，
，
和
分别表示输入点云，粗糙点云，稀疏点云和稠密点云的点数，
，
和
分别表示输入点云特征，稀疏点云特征和稠密点云特征的维度。
在一可选的实施例中，请参阅图12所展示的结构化特征生成过程与图13所展示的粗糙点云生成的过程，粗糙点云的生成过程可以被清晰地展现出来。预测粗糙点云的主要挑战在于如何从输入点云Pi中学习到一个合适的全局特征表示，使其能够很好地表征不完整点云所对应的目标物体的整体结构和局部细节。为了达到这个目的，本发明提出了可以自适应地将输入点云的各点特征聚合为二维特征图的特征结构化网络，并通过基于二维卷积操作的点云解码网络来生成粗糙点云。描述粗糙点云的生成过程，包括特征结构化网络、点云解码网络两个部分的工作，具体如下：
特征结构化网络的工作，包括：给定输入点云的各点特征Fi，我们通过注意力机制来发掘输入点云中潜在的局部信息组合，并生成二维的结构化特征图SFM。我们首先定义一个含有k个d维向量的可学习向量集合
，并将S和Fi分别作为查询集合和键值对集合。然后我们分别通过不同的多层感知机将查询集合，键集合，和值集合进行h次线性投影，得到三组h个d维的向量。将这三组向量的集合输入到注意力函数中，即可得到h个大小为
的矩阵，每个矩阵是相应的输入特征的投影的加权和。注意力函数的定义如下：
其中Att表示注意力函数；
表示缩放操作；softmax表示归一化；Q，K和V分别表述输入的查询集合，键集合和值集合所对应的矩阵；
注意力函数输出的h个矩阵拼接形成含有h个通道，大小
的二维特征图
，通道数量与线性投影次数相关。由于我们基于注意力机制进行特征聚合，结构化特征图
由输入点特征
的线性投影加权得到，因此特征结构化网络聚合特征的过程与输入点的顺序无关，满足点云处理的排列不变性约束。
点云解码网络，用于使得结构化特征图SFM进一步地学习具有高级语义信息的特征，并生成一个可以准确描述目标物体整体结构的粗糙点云Pc。由于SFM是常规的二维特征图，我们使用二维卷积操作(缩写：Conv2D)作为点云解码网络的基本组成部分。点云解码网络包括二维卷积网络和回归层，前者用于特征学习，从SFM中学习粗糙点云的特征
，后者则用于坐标回归，利用Fc回归出粗糙点云Pc。其中
表示粗糙点云特征的维度。
进一步地，在生成粗糙点云Pc后，点云上采样阶段接着生成具有良好细节和均匀表面点分布的稠密点云Pd。点云上采样阶段可以被分为三个步骤，稀疏编码，特征拓充以及偏置回归。
如图14所展示的稀疏编码网络，稀疏编码网络用于产生稀疏点云Ps，并编码具有局部及上下文信息的特征Fs。其包含两个分支：特征重用和领域编码，前者通过重访输入特征Fi和粗糙点云特征Fc来发掘局部区域的结构细节，后者通过从输入点云Pi和粗糙点云Pc中采样点来保留输入点云的几何结构。
在领域编码分支，我们首先将输入点云Pi和粗糙点云Pc进行拼接，并通过最远点采样操作选取结合点云中的部分点，并利用分组操作将这些点提取出来，产生一个表面点分布相对均匀的稀疏点云Ps，其中Ns表示稀疏点云的点数。对于稀疏点云
，我们通过顺序堆叠多个图卷积网络（GCN，Graph Convolutional Network）对每个点进行领域特征的提取，得到第一待编码特征。
在特征重用分支，我们首先将输入点云的特征Fi和粗糙点云的特征Fc分别通过多个一维卷积层和二维卷积层，并将输出的特征进行拼接，再利用分组操作将领域编码分支采样点相应的特征提取出来。由于Fi和Fc来自不同的网络，我们顺序堆叠多个自注意力单元进行特征的整合，得到第二待编码特征。最后，特征重用分支与领域编码分支输出的第一待编码特征与第二待编码特征将被拼接，编码为稀疏点云的特征Fs，输入后续的特征拓充步骤。
在进行稀释编码网络工作之后，就是迭代反馈网络的工作，其是用于提供图像分辨率的反馈机制，构建了通过多步优化的方式进行特征拓充的迭代反馈网络。
迭代反馈网络首先通过一个多层感知机将稀疏点云的特征Fs的维度从Cs缩小为c，得到初始的稀疏特征
，并通过一个上采样单元将其拓充为初始的稠密特征
，其中
，r表示进行上采样的采样率。迭代反馈网络通过将
和
输入一系列顺序堆叠的反馈模块来对初始拓充的特征
进行完善，实现自纠正的效果。其中，稀疏点云的特征是上文中的编码特征所对应的向量，而初始的稀疏特征是第一编码特征向量，第一目标特征向量相当于初始的稠密特征，第二目标特征向量是完善后的第一目标特征向量。
具体的，如图15所展示的流程，MLP是多层次感知机、FB是反馈模块，DOWNt表示进行上采样单元，SAt表示进行自注意力单元，UPt表示进行下采样单元；具体的，反馈模块由上采样单元，下采样单元和自注意力单元组成，其自纠正的流程，依次包括第一目标特征向量下采样、第一编码特征向量与第二编码特征向量的差异信息计算、基于自注意力单元进行差异信息上采样、基于迭代完善相应的特征，公式如下：
其中，
表示第一编码特征向量，
表示第二编码特征向量，
表示第一目标特征向量，
表示第二目标特征向量，
表示差异信息，
表示上采样的差异信息，
和
分别表示以r为采样率对特征F进行上和下采样操作，SA表示自注意力算法。
每个反馈模块以
和
作为输入，首先将稠密特征
进行下采样，映射到一个新的稀疏特征
，然后计算已知稀疏特征和新的稀疏特征之间的差异
，并通过一个自注意力单元来捕捉长范围的上下文信息，以产生更具有区别度的差异。进一步，该差异将被上采样，得到一个与稠密特征同等大小的差异
，并通过将该差异加到初始的稠密特征
上来得到完善后的特征。直观而言，每个反馈模块通过将投影误差反馈到初始的稠密特征上来实行一次特征自纠错的过程，经过自纠正过程产生的特征有利于后续网络回归出具有良好细节和均匀表面点分布的稠密点云。
在上采样单元中，如图16所示，对于输入的大小为
稀疏特征，首先利用1层GCN网络将其拓充r倍，得到大小为
的特征，再经过中的重排列操作，输出大小为
的稠密特征；如图17所示，下采样单元同样采用类似的操作，对于输入的大小为
的稠密特征，首先通过变形操作得到大小为
的特征，再使用一层GCN网络将特征维度缩小为c，输出大小为
的稀疏特征；如图18所示，自注意力算法基于自注意力单元实现，在自注意力单元中，对于输入的大小为
的特征，首先通过三个独立MLP网络分别投影出查询集合，键集合和值集合，再将这些集合经过注意力函数，将函数输出的特征与单元输入的特征相加，输出大小为
的特征。
进一步地，是偏置回归的步骤，将修正后的稠密特征Fd进行稠密点云Pd的生成。如图19所示，在稀疏点云Ps的基础上，我们通过预测稠密点云和稀疏点云坐标值偏置的方式生成稠密点云，其中回归网络由两个多层感知机网络组成，且稀疏点云的坐标值在与偏置相加前会相应地复制r次。
在生成粗糙点云，且通过偏置回归生成稠密点云之后，我们选用倒角距离作为计算补全误差的损失函数。由于我们采用两阶段的方式进行补全点云的生成，因此我们共同地通过倒角距离损失函数共同优化粗糙点云Pc和稠密点云Pd。整体的损失函数如下：
其中，
表示真实的完整点云，
表示完整点云的点数。
由此，一方面，该发明提出了一个可以自适应地将无序的特征集合聚合为二维结构化特征图的神经网络：特征结构化网络，有利于保留更多输入点云的信息，表征更为细粒的全局特征。另一方面，该发明设计了一个具有自纠正特性，通过多步优化的方式实现特征拓充的神经网络：迭代反馈网络，有利于产生具有良好细节和表面点分布均匀的稠密点云。基于此，该发明将上述两个网络整合到了一个两阶段的点云补全框架，设计了一个全新的点云补全模型。
经过上述方式进行叙述之后，通过具体参数进行表征，展现其所选取的相应数值，使用编码器从输入点云中提取特征后，输入点云的特征维度
；二维特征图的大小d和k均被设为64，其中，k表示查询集中可学习向量的个数，d表示查询集中可学习向量维度的数量；，结构化特征图SFM的通道数h被设为32；粗糙点云的点数
，特征维度
；稀疏点云的点数
，特征维度Cs=256，缩小后的特征维度
；稠密点云
具有多种分辨率，即
，分别对应上采样率
，稠密点云的特征维度
。本发明的网络使用PyTorch框架实现，并利用Adam优化器进行优化，
，
。学习率的初始大小为
。每10个epoch学习率衰减为当前学习率的0.7倍。
基于此，本发明提出了特征结构化网络和迭代反馈网络，分别用于解决现有技术的两个不足。从特征学习的角度，特征结构化网络可以自适应地将输入点云的特征聚合为二维的结构化特征图。相比于大部分现有方法采用GFV作为全局特征，二维的特征图可以保留更多的输入点云的信息，有利于区分同类物体不同形状的局部细节，表征更为细粒的全局特征；从点云上采样的角度而言，迭代反馈网络具有自纠正特性，可以通过多步的优化进行特征拓充，逐步改善稠密特征，相比于现有方法只进行一步或者两步的操作，更有利于产生具有良好细节和表面点分布均匀的稠密点云。
具体的，当输入的图像如图20所示时，其他网络补全的图像如图21、图22所示，本申请所补全的点云图像如图23所示，而真实的点云如图24所示，当输入点云存在较大的缺失时，现有的点云方法产生的稠密点云的表面点分布较为不均匀，特别是在已知和预测的部分之间，而本发明提出的方法可以将输入的不完整点云补全为具有更好的局部细节以及表面点分布均匀程度的稠密点云。
进一步地，为了表示本申请发明的有效性，将从实验数据入手，进行整体论述。现有技术中包括ShapeNet的点云集合、MVP的点云集合及MVP的点云补全集合。
ShapeNet点云补全数据集一共包含8个类别的30974个样本，其中完整点云通过在模型表面网格上均匀采样16384个点生成，对应的不完整点云通过随机相机视角下生成的2.5维深度图反向投影到三维空间获得。为了公平对比，本实验使用与PCN相同的数据集划分。ShapeNet点云补全数据集的训练集，验证集和测试集分别含有28974，800和1200个样本。本方法在各类别的各类别平均倒角距离上达到了最优的结果，并在五个类别上单独超过了现有的方法。本发明的方法可以准确地预测出缺失部分的点云，而现有的方法倾向于在缺失部分生成模糊不清的点云。此外，本发明的方法可以生成表面点均匀的稠密点云，产生更少的噪声点。其中，本发明方法与现有方法的定量补全结果如表1所示，定性补全结果如图25所示，图25中，Input对应的纵列是输入的点云，OURS对应的纵列是使用本申请修复后的点云，GT对应的纵列是真实的点云，而其他纵列都是使用不同神经网络修复点云的结果。
表1
对于MVP数据集，其不完整点云和完整点云，均通过CAD模型产生，共有16个类别。不同于其他数据集，MVP数据集的完整点云共有四个分辨率，包括2048，4096，8192和16384。本实验使用与VRCNet相同的数据集划分。MVP点云补全数据集的训练集，和测试集分别含有62400和41600个样本。由于本发明的方法可以通过修改上采样率r来生成多种分辨率的点云，因此我们MVP数据集上与现有的支持多分辨率补全的方法进行了对比。除了倒角距离，我们还使用了F-Score（F1）作为评估指标，结果如表2所示，本发明的方法在四个分辨率的定量补全结果上均优于现有的方法。
表2
KITTI实景扫描数据集由激光雷达LiDAR实景扫描的汽车点云序列组成。每帧的汽车点云都被提取到一个包围盒中，均为高度稀疏的不完整点云，不具有对应的完整点云，共含有2401个样本。由于KITTI数据集不含有对应的完整点云，因此我们采用与ASFH-Net一样的方式去评估方法的补全结果，并以保证度(缩写：FD)，最小匹配距离(缩写：MMD)，多帧补全连续性(缩写：Consistency)以及表面点的均匀程度(缩写：Uniformity)作为评估指标。定量补全结果如表3所示，本发明的方法在补全结果的表面点分布均匀程度上优于现有的方法，并具有最低的最小匹配距离值。定性补全结果如图26所示，我们利用泊松表面重建算法将各方法补全出的点云进行了表面重建。从图中可以看出，由于其他方法产生的点云的表面点分布较为不均匀，因此表面重建结果具有较多的人工生成痕迹，而由本发明补全点云的表面重建结果具有更清晰的结构与更平滑的表面，真实性更高；其中，Input对应的纵列是输入的点，OURs是本发明所修复的点云，GRNet、SnowflakeNet、VRCNet分别是不同方式修复的点云。
表3
表3中指标为保证度(FD)，最小匹配距离(MMD)，多帧补全连续性(Consistency)以及表面点的均匀程度(Uniformity)，其中Ours是本发明的方法，最优的结果以粗体标出。图28中，数据集定性补全结果（上排为补全出的点云，下排为表面重建结果），其中，Ours是本发明的方法的补全结果，Input表示输入的点云。
进一步地，为了验证所提的特征结构化网络和迭代反馈网络的有效性，我们在ShapeNet数据集上进行消融实验。我们对比了采用不同的通道数h的结构化特征图SFM，以及GFV的作为全局特征的模型在ShapeNet数据集上的定量补全结果，其中基于GFV的模型的粗糙点云通过现有方法中的模块生成，其余模块均与基于SFM的方法相同。结果如表4所示，本发明的基于SFM的方法优于基于GFV的方法，并在通道数h=32时达到了最优的表现。表4中，采用不同的全局特征的模型在ShapeNet数据集上的定量点云补全结果，指标为倒角距离乘以104，其中Ours是本发明的方法，最优结果以粗体标出。
表4
此外，本实施例还可视化了以GFV和SFM作为全局特征在类内特征分布的均匀程度，如图27所示，将本申请的结构化点云GFV与传统的结构化点云SFM。相比于GFV， SFM特征在各类别内具有更均匀的类内分布均匀程度，证明SFM学习到的全局特征足以区分同类物体不同形状的局部细节，表征更为细粒的全局特征。
进一步地，我们将点云上采样阶段中用于特征拓充的迭代反馈网络替换为现有点云上采样方法中的特征拓充网络，并对比了含有不同数量T的反馈模块的迭代反馈网络。定量补全结果如表5所示，本发明的迭代反馈网络优于采用现有特征拓充网络的方法，且随着迭代模块的增加，方法的表现也在逐步提升。定性补全结果如图28所示，由此可知，本发明的方法产生的稠密点云具有更少的噪声点和离群点，证明迭代反馈网络有利于生成表面点均匀分布的稠密点云。
表5
在表 
中，采用不同特征拓充网络的模型在ShapeNet数据集上的定量点云补全结果指标为倒角距离乘以104，其中Ours是本发明的方法，最优结果以粗体标出。在图28中，采用不同特征拓充网络的模型在ShapeNet数据集上的定性点云补全结果，其中Ours指的是本发明的方法，Input表示输入，GT表示真实完整点云。
此外，特征结构化网络可以应用到需要提取点云全局特征的任务中，如点云分类，点云分割等；迭代反馈网络可以应用到点云生成类的任务中，如点云上采样，点云生成等。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的点云修复方法的点云修复装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个点云修复装置实施例中的具体限定可以参见上文中对于点云修复方法的限定，在此不再赘述。
在一个实施例中，如图29所示，提供了一种点云修复装置，包括：
粗糙点云生成模块2902，用于获取待修复点云特征，所述待修复点云特征的投影信息基于注意力算法进行加权聚合，得到待修复点云的结构化特征，基于所述结构化特征，确定全局特征对应的点云；
稀疏特征获取模块2904，用于基于组合的所述待修复点云与所述全局特征对应的点云进行编码，得到编码特征，降维所述编码特征，得到第一编码特征向量；
稠密特征生成模块2906，用于基于采样率扩充所述编码特征，得到第一目标特征，对所述第一目标特征下采样，得到第二编码特征向量；
点云修复模块2908，用于基于所述第一编码特征向量与所述第二编码特征向量计算差异信息，对所述差异信息进行上采样，基于上采样的所述差异信息修复所述第一目标特征，得到第二目标特征，基于组合的所述全局特征对应的点云与所述第二目标特征对应的点云，得到所述待修复点云对应的已修复点云。
在其中一个实施例中， 点云修复模块2908，包括：
第一集合获取单元，用于确定待修复点云特征的值集合与所述待修复点云特征的索引集合；
第二集合获取单元，用于获取待训练的查询集合，所述查询集合对应于预设维度；
投影单元，用于按照所述预设维度，对所述值集合、所述索引集合及所述查询集合分别进行投影，得到所述值集合、所述索引集合及所述查询集合分别对应的预设维度投影向量集合；
结构图生成单元，用于基于注意力函数，对各预设维度投影向量集合中的投影特征进行加权聚合，得到权重矩阵，拼接所述权重矩阵，得到待修复点云的二维特征结构图。
在其中一个实施例中， 所述预设维度投影向量集合包括预设维度下的线性投影索引集合、线性投影查询集合及线性投影值集合，所述权重矩阵包括待修复点云特征的权重矩阵；所述结构图生成单元，包括：
缩放子单元，用于对所述线性投影查询集合与转置后的所述线性投影索引集合进行缩放，得到缩放集合；
权重计算单元，用于将所述缩放集合与所述线性投影值集合进行组合，得到对应于待修复点云特征的权重矩阵。
在其中一个实施例中， 所述待修复点云的结构化特征是二维特征图，所述粗糙点云生成模块2902，包括：
全局特征获取单元，用于基于所述二维特征图进行语义特征提取，得到全局特征；
粗糙点云生成单元，用于对所述全局特征进行回归计算，得到全局特征对应的点云。
在其中一个实施例中， 所述稀疏特征获取模块2904，包括：
第一待编码特征生成单元，用于对所述待修复点云与所述全局特征对应的点云进行拼接，并从拼接后的点云中，提取出编码采样点，对所述编码采样点进行局部特征提取，得到第一待编码特征；
特征拼接单元，用于对所述待修复点云中提取出的特征与所述全局特征对应的点云中分别提取出的特征进行拼接，得到拼接后的特征；
第二待编码特征生成单元，用于基于所述编码采样点，从所述拼接后的特征中提取出编码采样点对应的特征，所述编码采样点对应的特征基于自注意力算法进行加权聚合，得到第二待编码特征；
稀疏特征生成单元，用于对拼接后的所述第一待编码特征与第二待编码特征，进行编码，得到所述编码特征。
在其中一个实施例中， 所述点云修复模块2908包括：
差异信息获取单元，用于基于所述自注意力算法，基于所述第一编码特征向量与所述第二编码特征向量的同位值进行计算，得到差异信息；
上采样单元，用于基于所述采样率，对所述差异信息进行上采样。
在其中一个实施例中， 当计算所述第一编码特征向量与所述第二编码特征向量的差异信息时，所述方法还包括：
第一迭代单元，用于将已计算差异信息的所述第二编码特征向量，确定为下一轮迭代计算的所述第一编码特征向量；
所述基于上采样的所述差异信息修复所述第一目标特征，得到第二目标特征，包括：
第二迭代单元，用于将当前迭代计算出的第二目标特征向量作为下一轮迭代中的第一目标特征向量。
上述点云修复装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图30所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种点云修复方法。
本领域技术人员可以理解，图30中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种点云修复方法，其特征在于，所述方法包括：
获取待修复点云特征，所述待修复点云特征的投影信息基于注意力算法进行加权聚合，得到待修复点云的结构化特征，基于所述结构化特征，确定全局特征对应的点云；
基于组合的所述待修复点云与所述全局特征对应的点云进行编码，得到编码特征，降维所述编码特征，得到第一编码特征向量；
基于采样率扩充所述第一编码特征向量，得到第一目标特征，对所述第一目标特征下采样，得到第二编码特征向量；
基于所述第一编码特征向量与所述第二编码特征向量计算差异信息，对所述差异信息进行上采样，基于上采样的所述差异信息修复所述第一目标特征，得到第二目标特征，基于组合的所述全局特征对应的点云与所述第二目标特征对应的点云，得到所述待修复点云对应的已修复点云。
2.根据权利要求1所述的方法，其特征在于，所述待修复点云特征的投影信息基于注意力算法进行加权聚合，得到待修复点云的结构化特征，包括：
确定待修复点云特征的值集合与所述待修复点云特征的索引集合；
获取待训练的查询集合，所述查询集合对应于预设维度；
按照所述预设维度，对所述值集合、所述索引集合及所述查询集合分别进行投影，得到所述值集合、所述索引集合及所述查询集合分别对应的预设维度投影向量集合；
基于注意力函数，对各预设维度投影向量集合中的投影特征进行加权聚合，得到权重矩阵，拼接所述权重矩阵，得到待修复点云的二维特征结构图。
3.根据权利要求2所述的方法，其特征在于，所述预设维度投影向量集合包括预设维度下的线性投影索引集合、线性投影查询集合及线性投影值集合，所述权重矩阵包括待修复点云特征的权重矩阵；
所述基于注意力函数，对各预设维度投影向量集合中的投影特征进行加权聚合，包括：
对所述线性投影查询集合与转置后的所述线性投影索引集合进行缩放，得到缩放集合；
将所述缩放集合与所述线性投影值集合进行组合，得到对应于待修复点云特征的权重矩阵。
4.根据权利要求1所述的方法，其特征在于，所述待修复点云的结构化特征是二维特征图，所述基于所述结构化特征，确定全局特征对应的点云，包括：
基于所述二维特征图进行语义特征提取，得到全局特征；
对所述全局特征进行回归计算，得到全局特征对应的点云。
5.根据权利要求1所述的方法，其特征在于，所述基于组合的所述待修复点云与所述全局特征对应的点云进行编码，得到编码特征，包括：
对所述待修复点云与所述全局特征对应的点云进行拼接，并从拼接后的点云中，提取出编码采样点，对所述编码采样点进行局部特征提取，得到第一待编码特征；
对所述待修复点云中提取出的特征与所述全局特征对应的点云中分别提取出的特征进行拼接，得到拼接后的特征；
基于所述编码采样点，从所述拼接后的特征中提取出编码采样点对应的特征，所述编码采样点对应的特征基于自注意力算法进行加权聚合，得到第二待编码特征；
对拼接后的所述第一待编码特征与第二待编码特征，进行编码，得到所述编码特征。
6.根据权利要求1所述的方法，其特征在于，所述基于所述第一编码特征向量与所述第二编码特征向量计算差异信息，对所述差异信息进行上采样包括：
基于自注意力算法，基于所述第一编码特征向量与所述第二编码特征向量的同位值进行计算，得到差异信息；
基于所述采样率，对所述差异信息进行上采样。
7.根据权利要求1所述的方法，其特征在于，当计算所述第一编码特征向量与所述第二编码特征向量的差异信息时，所述方法还包括：
将已计算差异信息的所述第二编码特征向量，确定为下一轮迭代计算的所述第一编码特征向量；
所述基于上采样的所述差异信息修复所述第一目标特征，得到第二目标特征，包括：
将当前迭代计算出的第二目标特征向量，作为下一轮迭代中的第一目标特征向量。
8.一种点云修复装置，其特征在于，所述装置包括：
粗糙点云生成模块，用于获取待修复点云特征，所述待修复点云特征的投影信息基于注意力算法进行加权聚合，得到待修复点云的结构化特征，基于所述结构化特征，确定全局特征对应的点云；
稀疏特征获取模块，用于基于组合的所述待修复点云与所述全局特征对应的点云进行编码，得到编码特征，降维所述编码特征，得到第一编码特征向量；
稠密特征生成模块，用于基于采样率扩充所述编码特征，得到第一目标特征，对所述第一目标特征下采样，得到第二编码特征向量；
点云修复模块，用于基于所述第一编码特征向量与所述第二编码特征向量计算差异信息，对所述差异信息进行上采样，基于上采样的所述差异信息修复所述第一目标特征，得到第二目标特征，基于组合的所述全局特征对应的点云与所述第二目标特征对应的点云，得到所述待修复点云对应的已修复点云。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210040558.7A CN114048845B (zh) | 2022-01-14 | 2022-01-14 | 点云修复方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210040558.7A CN114048845B (zh) | 2022-01-14 | 2022-01-14 | 点云修复方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114048845A true CN114048845A (zh) | 2022-02-15 |
| CN114048845B CN114048845B (zh) | 2022-06-03 |
Family
ID=80196546
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210040558.7A Active CN114048845B (zh) | 2022-01-14 | 2022-01-14 | 点云修复方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114048845B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI799181B (zh) * | 2022-03-10 | 2023-04-11 | 國立臺中科技大學 | 由三維稀疏點雲生成三維完整點雲與零件切割之整合模型的建立方法 |
| WO2023197601A1 (zh) * | 2022-04-14 | 2023-10-19 | 北京大学 | 一种基于梯度场的点云修复方法 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9171405B1 (en) * | 2011-06-29 | 2015-10-27 | Matterport, Inc. | Identifying and filling holes across multiple aligned three-dimensional scenes |
| US20170363421A1 (en) * | 2016-06-15 | 2017-12-21 | Topcon Corporation | Surveying System |
| CN109544700A (zh) * | 2018-10-12 | 2019-03-29 | 深圳大学 | 基于神经网络的点云数据的处理方法、装置和设备 |
| CN110415284A (zh) * | 2019-07-31 | 2019-11-05 | 中国科学技术大学 | 一种单视彩色图像深度图获得方法及装置 |
| CN112819833A (zh) * | 2021-02-05 | 2021-05-18 | 四川大学 | 一种大场景点云语义分割方法 |
| US20210157312A1 (en) * | 2016-05-09 | 2021-05-27 | Strong Force Iot Portfolio 2016, Llc | Intelligent vibration digital twin systems and methods for industrial environments |
| CN112862730A (zh) * | 2021-04-26 | 2021-05-28 | 深圳大学 | 点云特征增强方法、装置、计算机设备和存储介质 |
| CN112949640A (zh) * | 2021-01-29 | 2021-06-11 | 罗普特科技集团股份有限公司 | 点云语义分割方法、装置、计算设备及存储介质 |
| CN112990010A (zh) * | 2021-03-15 | 2021-06-18 | 深圳大学 | 点云数据处理方法、装置、计算机设备和存储介质 |
| CN113316801A (zh) * | 2019-12-09 | 2021-08-27 | 深圳市大疆创新科技有限公司 | 点云孔洞填充方法、装置和存储介质 |
| CN113327279A (zh) * | 2021-08-04 | 2021-08-31 | 腾讯科技（深圳）有限公司 | 一种点云数据处理方法、装置、计算机设备及存储介质 |
| CN113379646A (zh) * | 2021-07-07 | 2021-09-10 | 厦门大学 | 一种利用生成对抗网络进行稠密点云补全的算法 |
| CN113706686A (zh) * | 2021-07-09 | 2021-11-26 | 苏州浪潮智能科技有限公司 | 一种三维点云重建结果补全方法及相关组件 |
-
2022
- 2022-01-14 CN CN202210040558.7A patent/CN114048845B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9171405B1 (en) * | 2011-06-29 | 2015-10-27 | Matterport, Inc. | Identifying and filling holes across multiple aligned three-dimensional scenes |
| US20210157312A1 (en) * | 2016-05-09 | 2021-05-27 | Strong Force Iot Portfolio 2016, Llc | Intelligent vibration digital twin systems and methods for industrial environments |
| US20170363421A1 (en) * | 2016-06-15 | 2017-12-21 | Topcon Corporation | Surveying System |
| CN109544700A (zh) * | 2018-10-12 | 2019-03-29 | 深圳大学 | 基于神经网络的点云数据的处理方法、装置和设备 |
| CN110415284A (zh) * | 2019-07-31 | 2019-11-05 | 中国科学技术大学 | 一种单视彩色图像深度图获得方法及装置 |
| CN113316801A (zh) * | 2019-12-09 | 2021-08-27 | 深圳市大疆创新科技有限公司 | 点云孔洞填充方法、装置和存储介质 |
| CN112949640A (zh) * | 2021-01-29 | 2021-06-11 | 罗普特科技集团股份有限公司 | 点云语义分割方法、装置、计算设备及存储介质 |
| CN112819833A (zh) * | 2021-02-05 | 2021-05-18 | 四川大学 | 一种大场景点云语义分割方法 |
| CN112990010A (zh) * | 2021-03-15 | 2021-06-18 | 深圳大学 | 点云数据处理方法、装置、计算机设备和存储介质 |
| CN112862730A (zh) * | 2021-04-26 | 2021-05-28 | 深圳大学 | 点云特征增强方法、装置、计算机设备和存储介质 |
| CN113379646A (zh) * | 2021-07-07 | 2021-09-10 | 厦门大学 | 一种利用生成对抗网络进行稠密点云补全的算法 |
| CN113706686A (zh) * | 2021-07-09 | 2021-11-26 | 苏州浪潮智能科技有限公司 | 一种三维点云重建结果补全方法及相关组件 |
| CN113327279A (zh) * | 2021-08-04 | 2021-08-31 | 腾讯科技（深圳）有限公司 | 一种点云数据处理方法、装置、计算机设备及存储介质 |
Non-Patent Citations (6)
| Title |
|---|
| WANG WU 等: "Cross-Regional Attention Network for Point Cloud Completion", 《2020 25TH INTERNATIONAL CONFERENCE ON PATTERN RECONGNITION》 * |
| ZIHAO YAN 等: "RPM-Net: Recurrent Prediction of Motion and Parts from Point Cloud", 《ARXIV:2006.14865》 * |
| 刘彩霞 等: "基于深度学习的三维点云修复技术综述", 《计算机辅助设计与图形学学报》 * |
| 林文珍 等: "三维点云中的二维标记检测", 《集成技术》 * |
| 王亚东 等: "基于卷积神经网络的三维目标检测研究综述", 《模式识别与人工智能》 * |
| 陈永辉: "基于激光扫描的三维点云数据处理技术研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI799181B (zh) * | 2022-03-10 | 2023-04-11 | 國立臺中科技大學 | 由三維稀疏點雲生成三維完整點雲與零件切割之整合模型的建立方法 |
| WO2023197601A1 (zh) * | 2022-04-14 | 2023-10-19 | 北京大学 | 一种基于梯度场的点云修复方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114048845B (zh) | 2022-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111047548B (zh) | 姿态变换数据处理方法、装置、计算机设备和存储介质 | |
| CN114048845B (zh) | 点云修复方法、装置、计算机设备和存储介质 | |
| CN111199206A (zh) | 三维目标检测方法、装置、计算机设备及存储介质 | |
| CN115345866B (zh) | 一种遥感影像中建筑物提取方法、电子设备及存储介质 | |
| CN115482382A (zh) | 一种基于Transformer架构的图像语义分割方法 | |
| CN116740527A (zh) | U型网络与自注意力机制结合的遥感图像变化检测方法 | |
| CN113378112A (zh) | 一种基于各向异性卷积的点云补全方法及装置 | |
| CN114241388A (zh) | 基于时空记忆信息的视频实例分割方法和分割装置 | |
| Chen et al. | Density-imbalance-eased lidar point cloud upsampling via feature consistency learning | |
| CN112686830B (zh) | 基于图像分解的单一深度图的超分辨率方法 | |
| CN114359228A (zh) | 物体表面缺陷检测方法、装置、计算机设备和存储介质 | |
| CN113033448A (zh) | 一种基于多尺度卷积和注意力的遥感影像去云残差神经网络系统、方法、设备及存储介质 | |
| CN116051936B (zh) | 基于时空分离外部注意力的叶绿素浓度有序补全方法 | |
| CN116597071A (zh) | 一种基于可学习的k临近点采样的缺陷点云数据重建方法 | |
| Li et al. | Multi-view convolutional vision transformer for 3D object recognition | |
| Yu et al. | MagConv: Mask-guided convolution for image inpainting | |
| CN115424038A (zh) | 多尺度图像处理方法、系统、装置和计算机设备 | |
| CN113191367B (zh) | 基于密集尺度动态网络的语义分割方法 | |
| Emlek et al. | P3SNet: Parallel pyramid pooling stereo network | |
| CN110490235B (zh) | 一种面向2d图像的车辆对象视点预测与三维模型恢复方法及装置 | |
| CN114881850A (zh) | 点云超分辨率方法、装置、电子设备及存储介质 | |
| Zhang et al. | ParaNet: Deep regular representation for 3D point clouds | |
| CN114998634B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| Hu et al. | Adaptive region aggregation for multi‐view stereo matching using deformable convolutional networks | |
| Jiang et al. | TopologyFormer: structure transformer assisted topology reconstruction for point cloud completion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |