CN116188543A - 基于深度学习无监督的点云配准方法及系统 - Google Patents
基于深度学习无监督的点云配准方法及系统 Download PDFInfo
- Publication number
- CN116188543A CN116188543A CN202211685566.3A CN202211685566A CN116188543A CN 116188543 A CN116188543 A CN 116188543A CN 202211685566 A CN202211685566 A CN 202211685566A CN 116188543 A CN116188543 A CN 116188543A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- registration
- source
- network
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 132
- 238000013135 deep learning Methods 0.000 title claims abstract description 44
- 239000011159 matrix material Substances 0.000 claims abstract description 47
- 230000009467 reduction Effects 0.000 claims abstract description 24
- 238000004140 cleaning Methods 0.000 claims description 46
- 230000006870 function Effects 0.000 claims description 40
- 230000008569 process Effects 0.000 claims description 30
- 238000012549 training Methods 0.000 claims description 24
- 230000009466 transformation Effects 0.000 claims description 15
- 239000013598 vector Substances 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 11
- 238000010276 construction Methods 0.000 claims description 6
- 238000000354 decomposition reaction Methods 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 238000002156 mixing Methods 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 3
- 230000004931 aggregating effect Effects 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 claims 4
- 238000004590 computer program Methods 0.000 claims 2
- 238000012545 processing Methods 0.000 abstract description 3
- 230000008030 elimination Effects 0.000 description 13
- 238000003379 elimination reaction Methods 0.000 description 13
- 230000006872 improvement Effects 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 9
- 239000004973 liquid crystal related substance Substances 0.000 description 8
- 238000012360 testing method Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 238000013519 translation Methods 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000013508 migration Methods 0.000 description 3
- 230000005012 migration Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- COCLLEMEIJQBAG-UHFFFAOYSA-N 8-methylnonyl 2-methylprop-2-enoate Chemical compound CC(C)CCCCCCCOC(=O)C(C)=C COCLLEMEIJQBAG-UHFFFAOYSA-N 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
- G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及计算机视觉三维点云数据处理技术领域，特别涉及一种基于深度学习无监督的点云配准方法及系统，通过构建点云配准网络并进行训练，在点云配准网络中利用孪生网络提取清洁源点云特征和清洁目标点云特征，利用相似矩阵卷积迭代更新并纠正清洁源点云，利用潜在表面预测网络对清洁目标点云和更新纠正后的清洁源点云的点云噪声进行预测，并依据点云噪声预测结果并利用降噪方式获取点云空间点位置以依据点云空间点位置对源点云和目标点云进行一一对应；针对待测物体的目标点云和源点云，并将两者输入至训练后的点云配准网络中，通过点云配准网络来实现待测物体的目标点云和源点云的点云配准。本发明可以在一定程度上缓解噪声，提升点云配准精度。
Description
技术领域
本发明涉及计算机视觉三维点云数据处理技术领域，特别涉及一种基于深度学习无监督的点云配准方法及系统。
背景技术
刚性点云配准是指找到刚性变换以对齐具有未知点对应的两个给定点云的问题，它在计算机视觉和机器人技术的许多领域都有应用，例如机器人和物体姿态估计、基于点云的映射等，刚性点云配准需要解决未知点对应关系和刚性变换以对齐点云。目前，深度学习降噪方法在点云配准方面取得了不错的进展。
近些年，随着深度学习点云配准技术的快速发展，不断涌现出各种深度学习点云配准算法，包括RPMNet和DCP方法。尽管深度学习监督方法已经取得了很大进展，但该种方式受限于样本数据的标注，这导致同样的方法在新的应用场景使用时仍需要进行人工标注，并且这些标注可能存在的系统误差或随机误差会影响到最终的配准精度，虽然目前已经有大量的风格迁移方法能够对已标注的样本进行风格迁移，但这些技术仅适用于二维图像的色彩，针对三维点云空间坐标的风格迁移技术未见报道。因此，深度学习无监督配准方法仍是未来发展的主要方向。无监督配准方法在已经具备深度学习网络结构的基础上重点研究无监督损失函数，虽然IDAM网络已经提供了值得借鉴的思路，但受到噪声等影响，源点云和目标点云相对关系即使计算正确，利用点对约束的方式在噪声、点云不一一对应等情况下无法做到完全配准，这导致损失函数可能会给予网络结构错误的反馈，进而影响点云配准效果。
发明内容
为此，本发明提供一种基于深度学习无监督的点云配准方法及系统，通过降噪方式预测点云潜在表面来获取点云中空间任意一点的位置，实现源点云和目标点云的一一对应；并通过引入潜在表面预测网络和相应的损失函数，可以在一定程度上缓解噪声，进而能够提升点云配准精度。
按照本发明所提供的设计方案，提供一种基于深度学习无监督的点云配准方法，包含：
构建点云配准网络并进行训练，其中，点云配准网络包含：用于提取清洁源点云特征和清洁目标点云特征的孪生网络，用于利用清洁目标点云特征和清洁源点云特征的张量拼接来迭代更新并纠正清洁源点云的相似矩阵卷积，用于对清洁目标点云和更新纠正后的清洁源点云的点云噪声进行预测的潜在表面预测网络，和依据点云噪声预测结果并利用降噪方式获取点云空间点位置以依据点云空间点位置对源点云和目标点云进行一一对应的点云配准输出；
采集待测物体的目标点云和源点云，并将两者输入至训练后的点云配准网络中，通过点云配准网络来实现待测物体的目标点云和源点云的点云配准。
作为本发明基于深度学习无监督的点云配准方法，进一步地，所述孪生网络采用GNN网络结构来对源点云和目标点云进行特征提取，并利用多层感知器来获取特征显著性得分，分别对源点云和目标点云中所有点的显著性得分进行排序，分别选取显著性得分满足预设阈值的点作为清洁源点云和清洁目标点云。
作为本发明基于深度学习无监督的点云配准方法，进一步地，所述相似矩阵卷积中，通过在张量特征维度将源点云特征和目标点云特征进行合并联合编码来获取源点云和目标点云距离增强特征，提取每个点的相似度得分并对距离增强特征进行融合，使用softmax函数将相似矩阵值转换为概率值，并利用argmax函数来寻找源点云和目标点云的最佳对应关系。
作为本发明基于深度学习无监督的点云配准方法，进一步地，在张量特征维度将源点云特征和目标点云特征进行合并联合编码中，第n次迭代源点云一点pi和目标点云一点qj的特征张量值表示为
其中，[·；·]表示张量特征维度的合并联合编码；fs(i)表示源点云在i点的特征；ft(j)表示目标点云在j点的特征；||pi-qj||表示pi和qj之间的欧式距离；/>
表示从qj指向pi的单位向量。
作为本发明基于深度学习无监督的点云配准方法，进一步地，利用argmax函数来寻找源点云和目标点云的最佳对应关系中，利用奇异值分解SVD方法将寻找过程进行优化，并将优化后的寻找过程转化为：R(n),
利用分解的变换矩阵R(n)和t(n)来更新源点云位置，R和t为源点云和目标点云的刚体变换矩阵。
作为本发明基于深度学习无监督的点云配准方法，进一步地，针对相似矩阵卷积中源点云和目标点云距离增强特征，通过聚合源点云中指定点所有可能对应信息并利用有效性分数来获取混合消除权重，其中，混合消除权重中第i个点对的权重表示为
表示指示函数，v(i)为有效性分数，/>
σ(·)表示sigmoid函数，/>
表示按照元素排列不变合并操作；f表示多层感知机，F(i,j)表示特征融合矩阵张量第i行第j列所包含的数值，Mk(v(k))表示对v(k)的第k维度求均值。
作为本发明基于深度学习无监督的点云配准方法，进一步地，点云配准网络训练中，基于总损失函数并利用样本数据集来对点云配准网络进行训练优化，其中，总损失函数表示为：Ltotal＝LPM+LNE+LHE+LLSU，LPM为用于监督相似矩阵卷积的点配准损失，LNE为用于监督提取清洁点云的负熵损失，LHE为以目标点云中存在点的概率作为监督信号来对正确标签予以反馈并对错误标签予以过滤的混合消除损失，LLSU为约束由噪声和点对应问题引配准精度不一致情形的潜在一致表面损失。
进一步地，本发明还提供一种基于深度学习无监督的点云配准系统，包含：模型构建模块和点云配准模块，其中，
模型构建模块，构建点云配准网络并进行训练，其中，点云配准网络包含：用于提取清洁源点云特征和清洁目标点云特征的孪生网络，用于利用清洁目标点云特征和清洁源点云特征的张量拼接来迭代更新并纠正清洁源点云的相似矩阵卷积，用于对清洁目标点云和更新纠正后的清洁源点云的点云噪声进行预测的潜在表面预测网络，和依据点云噪声预测结果并利用降噪方式获取点云空间点位置以依据点云空间点位置对源点云和目标点云进行一一对应的点云配准输出；
点云配准模块，用于采集待测物体的目标点云和源点云，并将两者输入至训练后的点云配准网络中，通过点云配准网络来实现待测物体的目标点云和源点云的点云配准。
本发明的有益效果：
本发明利用潜在表面预测网络的约束能够在配准过程中去除噪声，有效提升点云配准网络模型的泛化性能和鲁棒性能，基于优化后的点云配准网络模型能够更好地估计源点云和目标点云变换关系，以更精确地完成点云配准任务。并进一步通过实验数据表明，本案方案可满足大数据量、高精度场景中点云配准视觉应用，具有较好的应用前景。
附图说明：
图1为实施例中基于深度学习无监督的点云配准流程示意图；
图2为实施例中点云坐标不对应的情况示意；
图3为实施例中潜在表面示意；
图4为实施例中预测的潜在表面和真实表面示意；
图5为实施例中点云配准网络结构示意；
图6为实施例中模型可视化结果示意；
图7为实施例中训练集噪声强度与精度关系示意；
图8为实施例中测试集噪声强度与泛化性关系示意；
图9为实施例中可视化对比示意。
具体实施方式：
为使本发明的目的、技术方案和优点更加清楚、明白，下面结合附图和技术方案对本发明作进一步详细的说明。
目前，深度学习无监督点云配准方法在损失函数部分仍采用点对应方式作为约束条件，在噪声和点云不一一对应的条件下，这样的约束会导致配准精度降低。本发明实施例，参见图1所示，提供一种基于深度学习无监督的点云配准方法，包含：
S101、构建点云配准网络并进行训练，其中，点云配准网络包含：用于提取清洁源点云特征和清洁目标点云特征的孪生网络，用于利用清洁目标点云特征和清洁源点云特征的张量拼接来迭代更新并纠正清洁源点云的相似矩阵卷积，用于对清洁目标点云和更新纠正后的清洁源点云的点云噪声进行预测的潜在表面预测网络，和依据点云噪声预测结果并利用降噪方式获取点云空间点位置以依据点云空间点位置对源点云和目标点云进行一一对应的点云配准输出；
S102、采集待测物体的目标点云和源点云，并将两者输入至训练后的点云配准网络中，通过点云配准网络来实现待测物体的目标点云和源点云的点云配准。
在点云一一对应条件下源点云P中一点p与目标点云Q中一点q为对应点，p经过旋转矩阵R和平移矩阵t刚体变换后，变为pRt，其计算过程如公式(1)所示。
pRt＝Rp+t(1)
从理论上来说，在R和t参数计算准确的情况下，经过变换计算的源点云点p′的坐标应与目标点云q完全一致。
源点云P受噪声影响后经过变换计算成带噪声源点云，记为P′，变换后的噪声源点云记为PR′t。类似地，目标点云Q受噪声影响记为Q′。此时，受到噪声影响p点处的噪声强度为np，据此可计算出p′的实际位置，计算方法如公式(2)所示。
p′Rt＝R(p+np)+t(2)
而q点的实际位置也受到了相似的噪声nq影响，其位置为q′，其与q的关系如公式(3)所示。
q′＝q+nq(3)
先前的无监督损失以减少p′与q′之间的距离作为约束，以整体PR′t和Q′距离最小作为约束，未考虑到噪声的影响，导致配准精度降低。
真实场景中，受到传感器观测位置和角度不同的影响，源点云P和目标点云Q不存在一一对应的情况，因此，通常采用最邻近方式寻找点云，进行一一配准。通过变换计算和求最近邻近点坐标可得近似对应点q，计算方式如公式(4)和公式(5)所示。
pRt＝Rp+t(4)
q＝KNN(pRt,Q)(5)
然而这种配准方式会引入额外的误差d，其计算方式如公式(6)所示。
d＝q-(Rp+t)(6)
由于引入了误差d，导致无监督方法配准损失计算结果无法很好地表达修正后的点云pRt和q，导致配准精度下降。
噪声和点一一对应这种情况可归纳为两个点云描述不一致问题。点云配准通常采用点对的方式进行约束，然而对于两个点云坐标本身不一致的情况，强行对点进行配对会导致配准精度降低。图2中，源点云A和目标点云A’坐标并不完全对应，源点云B和目标点云B’坐标并不完全对应，若采用点对作为约束，则导致配准精度下降。
然而，点云中的点均是依托平面存在的，虽然这个平面在数据中无法体现，但可以通过计算的方式预测，称这个面为潜在表面，如图3所示。从图4可以发现预测的潜在表面和真实表面之间的关系，其中，黑色表示真实表面，灰色表示预测的潜在表面。
因此，若要提高深度学习无监督点云配准精度，应从描述一致问题入手。受到点云降噪的预测潜在表面方式这个思路的启发，本案实施例中，通过降噪方式预测点云潜在表面来描述点云中空间任意一点的位置，进而实现源点云和目标点云的一一对应。此外，在预测过程中，通过引入潜在表面预测网络和相应的损失函数可以在一定程度上缓解噪声，进一步提升点云配准精度。
作为优选实施例，进一步地，所述孪生网络采用GNN网络结构来对源点云和目标点云进行特征提取，并利用多层感知器来获取特征显著性得分，分别对源点云和目标点云中所有点的显著性得分进行排序，分别选取显著性得分满足预设阈值的点作为清洁源点云和清洁目标点云。所述相似矩阵卷积中，可通过在张量特征维度将源点云特征和目标点云特征进行合并联合编码来获取源点云和目标点云距离增强特征，提取每个点的相似度得分并对距离增强特征进行融合，使用softmax函数将相似矩阵值转换为概率值，并利用argmax函数来寻找源点云和目标点云的最佳对应关系。
如图5所示在点云配准网络中，首先，分别对点云(N×3)进行特征提取，形成点云特征(N×K)；其次，在特征提取的基础上进行困难点移除，将其中明显的错误点进行消除，形成清洁点云(M×3)；再次，计算清洁点云相关特征(M×M×4)，并与清洁点云特征(M×4)在特征维度进行拼接，形成拼接后特征张量(M×M×(2K+4))；然后，利用一维卷积实现特征维的信息融合，形成融合后的特征(M×M×32)；再通过一维卷积计算相似度分数(M×M)，同时通过混合消除计算权重矩阵，最终通过SVD分解得到变换矩阵R和t；最后根据变换矩阵R和t纠正清洁后的源点云，重新进行迭代，直至迭代结束，利用潜在表面预测网络分别对源点云和目标点云进行预测，基于生成的变换矩阵R和t对源点云和目标点云分别变换，利用表面的信息进行约束。
孪生网络的特征提取中，因GNN网络具有特征提取能力强、精度较高、且计算速度相对较快的优势，因此，可选用GNN网络作为特征提取网络。
相似矩阵卷积中，在求解刚体变换矩阵R和t的时候，需要寻找源点云和目标点云的对应关系。当前主流的方式采用点特征的内积或者L2距离作为相似性的度量，从多次训练反馈中寻求最优解。然而这种方式存在两方面缺点，一方面是源点云在目标点云中有多个对应，由于配准过程的随机性，可能出现误配准，导致单次配准的结果不理想。因此，可以通过迭代的方式逐步进行配准；另一方面是单独使用两点之间的相似度评价能力有限，因此，可以通过一组特征组合对点云进行评价。
根据以上两方面问题，采用距离感知相似矩阵卷积寻找对应点，假设源点云中pi提取的几何特征fs和目标点云qj提取的几何特征ft均为K维，在第n次迭代源点云中的一点pi和目标点云的一点qj的特征张量值描述如公式(7)所示。
式中，[·；…]表示在张量特征维度进行合并，进行特征的联合编码；fs(i)表示源点云在i点的特征；t(i)表示目标点云在j点的特征；||pi-qj||表示pi和qj之间的欧式距离；
表示从qj指向pi的单位向量。
T(n)命名为距离增强特征，最终的维度组合后的尺寸为2K+4；为了进一步融合特征，提取每个点的相似度得分，在拼接张量维度后，利用一维卷积在特征维对距离增强特征进行融合，然后使用softmax函数将相似矩阵值转换为概率值。
融合距离特征张量T中第i行和第j列可理解为源点云pi和目标点云qj对应的概率，利用argmax函数即可找到最佳对应关系。最终，优化过程转换如公式(8)所示。
这是一个经典的绝对定向问题，可使用奇异值分解(SVD)方法即可有效解决，然后利用分解的R(n)和t(n)更新源点云位置，随后进入下一轮迭代。
尽管相似矩阵具有强大的配准功能，然而增强距离特征张量与源点云个数Ns、目标点云Nt以及邻近点个数K相关，随着三者的增加，张量的体积Ns×Nt×(2K+4)也在成倍增加，导致计算开销巨大。同时，在点云配准过程中，少量的配准点即可完成点云配准，因此，在实际的计算过程中，对点云进行下采样处理。然而，下采样过程会导致源点云和目标点云之间许多点不再具有对应关系，会急剧降低配准精度。为解决该问题，网络分两个阶段进行消除，分别是配准困难点消除和混合消除。
配准困难点消除能够有效减少相似矩阵卷积对的负担。该过程首先给定每个待提取点的局部形状特征，然后通过多层感知器获得显著性分数。其中，分数越高，则说明该点特征越明显，如角点。整个过程均在单点上进行，不考虑点对。对所有点的显著性进行排序，可以选取特征显著性较高的前M个点作为清洁点云，其余点视为配准困难点予以消除。本案实施例中，可选取
虽然进行了配准困难点消除，但该过程对于模型来说可能存在负面影响，如可能出现原本可能配准正确的点在配准过程中被错误消除的情况，从而导致相似矩阵卷积永远无法找到正确的对应关系。
在配准过程中，试图找到源点云和目标点云最大相似性得分的关系，然而面对点云中没有对应点的情况，通过公式(8)会使结果变得不准确。这种情况在部分重叠的点云场景时表现得尤为严重，在这种情况下，即使没有使用配准困难点消除，非重叠区域的点也不会有任何对应。
为了解决该问题，本案实施例中，可使用混合点消除技术对点对进行操作。具体过程是可通过采用置换不变池操作来聚合源点云中给定点的所有可能对应的信息，并输出有效性分数。分数越高，则说明对应的可能性越大。
计算有效性过程可用如下公式(9)描述。
式中，σ(·)表示sigmoid函数；
表示按照元素排列不变的合并方法，通常包括取平均值或者取最大值等，本案实施例中可使用最大值；f表示多层感知机。
通过有效性分数能够计算混合消除权重，第i个点对的权重可用公式(10)定义。
其中，
表示指示函数，满足条件时为1，其余为0。
潜在表面预测中，可采用降噪网络精化模块相似的结构，考虑到降噪网络的计算复杂度，网络可仅使用2个图卷积层，隐藏层神经元数量可设置为32。
在样本无标注的情况下，无监督损失函数通过数学方式的约束起到了替代样本标注的作用。因此，无监督损失函数尤为关键。总损失函数可设置为点配准损失(PointMatching Loss)、负熵损失(Negative Entropy Loss)、混合消除损失(HybridElimination Loss)以及潜在表面一致损失(Latent Surface Uniform Loss)四个部分之和，其定义可如公式(11)所示。
Ltotal＝LPM+LNE+LHE+LLSU(11)
点配准损失是一个标准的交叉熵损失，用于监督相似矩阵卷积。在每次迭代过程中均会计算该损失函数，其定义可如公式(12)所示。
其中，
公式(13)中，j*是真值变化后目标点云BT中最接近源点云BS中第i个点的索引。r是控制两个足够接近点的最小半径，为超参数，如果pi和qj之间的距离大于r，则认为这两点之间没有对应关系，故不对这部分点增加控制约束，这种情况在部分重叠点云中较为常见。
最终的总负熵损失为所有迭代次数的均值，其定义如公式(14)所示。
负熵函数主要用于消除配准过程中的困难点。考虑到训练为无监督方式，无法获得样本的标注信息。因此，采用负熵损失来消除这些配准困难点。具体思路为：如果一个点pi∈Bs是一个显著点，即高显著性得分，则该点具有更高的置信度，其概率分布熵值更低。所以，可以将概率分布的负熵作为显著性得分的监督信号，则第n次迭代的负熵损失定义如公式(15)所示。
式中，s(i)是源点云BS中第i个点的显著得分。
理论上来讲，该损失函数可用于每次迭代，然后叠加求均值即可计算损失值，然而这种方式可能会对相似矩阵卷积训练产生干扰。从定义上理解，点配准损失训练网络的欧几里德特征，而负熵损失训练网络的形状特征。从配准过程考虑，在训练配准的早期阶段，形状特征比欧几里德特征更重要，所以该损失函数仅在第一次迭代使用，同时为避免进一步的干扰，将负熵损失与相似矩阵的梯度流切断，避免额外干扰。
混合消除损失与困难点消除损失思想相似，不同之处在于困难点消除只考虑了点本身信息，而混合消除损失考虑了点对信息。因此，混合消除损失的作用更加明显。具体实现上以目标点云BT中存在点的概率作为监督信号，第n次迭代的混合消除损失定义如公式(16)所示。
其中
这个过程实际上对正确标签予以反馈，而对错误标签予以过滤。在长期训练和多次迭代中，那些正确配准概率高的点对将具有更高的效度分数。
潜在一致表面损失用于约束由于噪声、点不一一对应而造成配准精度不一致的问题。潜在表面一致由降噪损失(Denoise Loss)和噪声一致性损失(Noise ConsistencyLoss)共同构成。第n次迭代的损失函数可用公式(18)描述。
式中，
表示第n迭代的降噪损失值，/>
一致性损失。
由于在降噪过程中，需要使用降噪网络预测点云潜在表面，因此，需对降噪网络进行训练，所以应当计算网络降噪的损失。考虑到源点云BS和目标点云BT对应点坐标受噪声影响和采集影响，本身无法做到空间上一一对应，即使消除噪声后也难以收敛于一点。因此，在设计降噪损失函数时，可以首先利用预测的R和t作为变换参数，以源点云BS和目标点云BT计算预测目标点云B′T和预测源点云BS。其变换过程可用公式(19)和公式(20)描述。
B′T＝RBS+t(19)
BS′＝R(BT-t)(20)
然后，将BS、BS′、BT和B′T分别输入至噪声去除网络，分别获得噪声向量
和/>
四个噪声向量。同时，考虑到噪声网络也需要训练，且整个网络为无监督训练方法，因此，噪声网络损失采用无监督方法进行训练，其损失函数可用公式(21)描述。
其中，
式中，σ为缩放因子；n为输入点云input的点数量，这里input包含BS、BS′、BT和B′T四类输入；Vinput表示基于网络预测噪声向量；
基于邻域计算的噪声向量。
式中，KNN(pi,Binout)表示从点云Binput中寻找点pi第k个邻近点。这些最邻近点坐标向量共同构成点pi的噪声向量。
通过降噪网络能够获得降噪后的噪声向量
Vinput＝fdenoise(input,θ)(25)
公式(24)和公式(25)中，input与前面相似，分别为BS、BS′、BT和B′T，对应分别生成
和/>
四种噪声向量。
由于
和/>
分别由/>
和/>
通过空间变换方式获得，考虑到/>
和/>
不一一对应的情况，即使在R和t预测准确的情况下，/>
与/>
与/>
并不能完全相等。从理论上来看，在R和t预测准确的条件下，/>
和/>
和/>
之间的差值应当相等。
因此，最终的噪声一致性损失描述为源点云BS和目标点云BT预测的噪声向量
和
预测源点云BS′和预测目标点云B′T预测的噪声向量/>
和/>
两组点云向量差的光滑L1损失函数如公式(26)所示。
其中，
通过以上内容来获取总损失函数，并基于总损失函数来训练并优化点云配准网络，以提升点云配准网络模型的泛化和鲁棒性能。
进一步地，基于上述的方法，本发明实施例还提供一种基于深度学习无监督的点云配准系统，包含：模型构建模块和点云配准模块，其中，
模型构建模块，构建点云配准网络并进行训练，其中，点云配准网络包含：用于提取清洁源点云特征和清洁目标点云特征的孪生网络，用于利用清洁目标点云特征和清洁源点云特征的张量拼接来迭代更新并纠正清洁源点云的相似矩阵卷积，用于对清洁目标点云和更新纠正后的清洁源点云的点云噪声进行预测的潜在表面预测网络，和依据点云噪声预测结果并利用降噪方式获取点云空间点位置以依据点云空间点位置对源点云和目标点云进行一一对应的点云配准输出；
点云配准模块，用于采集待测物体的目标点云和源点云，并将两者输入至训练后的点云配准网络中，通过点云配准网络来实现待测物体的目标点云和源点云的点云配准。
为验证本案方案有效性，下面结合实验数据做进一步解释说明：
通过对比多种已有方法，如FG、DCP、PRNet验证本案方法的有效性，尤其是本案IDMA方法；其次，考虑到本案方法能够在配准过程中去除噪声，对于模型的泛化性能是具有提升效果的，因此，需要通过实验进行验证；最后通过与基于烟花的配准算法的对比，从精度和性能两个方面分析传统配准方法与深度学习配准方法之间的差异，寻找适合各自的应用场景。
实验数据集采用modelnet40_ply_hdf5_2048数据集，实验的参数设置如表1所示。
表1潜在表面一致网络结构实验参数
1、有效性分析
为验证本案方法的有效性，通过实验与改进前的方法进行比较，由于本案方法为无监督方法，因此，训练集结果体现模型最终精度，而测试集结果体现模型的泛化性能。故在列出具体结果时区分训练集和测试集，未注明的则默认为在测试集上训练结果。具体的实验结果如表2所示。
表2各种配准方法实验结果对比
从实验结果来看，IDAM以及本案方法的配准精度远高于其他方法的配准精度。在训练集上，本案方法旋转矩阵R的平均绝对误差略低于改进前的IDAM方法，平移矩阵t的改进相近，说明改进后的方法在训练模型上精度略有提升。而在测试集上，模型的泛化精度则有较大提升，其中均方根误差降低了近25％，旋转矩阵R平均绝对误差降低了约20％，而平移矩阵t虽然平均绝对误差未降低，但均方根误差有所降低。本案使用的点云为不包含任何噪声的干净点云，排除了噪声的影响，先前的约束方式基于点方式进行配准，而本案基于潜在表方式点云配准，这样使得网络在配准过程中能够降低噪声的影响，使特征提取网络能够学习到更多点云本身的特征，而不是噪声的特征，从而能够在测试集上表现更好的泛化性。
为进一步验证本案的实验结果，将DCP、PRNet、GNN+IDAM以及GNN+本案方法进行了可视化。其中，右上部分颜色表示源点云，左下部分颜色表示目标点云，两者之间的颜色表示经过预测变换矩阵R和t的点云，在两者重合时，即纯左下部分颜色或者纯两者之间的颜色，则表示配准效果更好。从图6可以看出，各种方法的精度与可视化效果能够相互印证，其中GNN+本文方法精度最高。
2、抗噪性及泛化性分析
潜在表面损失主要是为对抗表面不一一对应和噪声的情况，从理论上来讲，增加潜在表面损失能够提升网络的抗噪性能。为进一步研究其效果，将两个网络分别在0％至2％的噪声范围内进行。
从训练集结果图7能够看出，在0.25％高斯噪声范围内，潜在表面网络结构在旋转矩阵R和平移矩阵t上均有一定提升，但在中期存在一定震荡，推测这可能是由于噪声较大影响到了潜在表面预测，从而降低了配准精度。
从测试集结果图8可以看出，在0.25％高斯噪声范围内，潜在表面网络结构在旋转矩阵R和平移矩阵t上有较大幅度提升，与训练集相似，在噪声增大过程中存在一定波动，但整体低于IDAM方法，说明该方法能够提升模型的泛化性能。此外，由于噪声过大，可能会导致预测表面存在偏差，进而影响最终的配准精度。
3、算法对比分析
表3基于传统方法和深度学习方法配准特征比较
由于所采用的数据集不相同，为比较两种方法的优缺点，在相同的数据集上对自适应烟花配准算法和本案中IDAM方法进行对比，结果如下表4所示。
表4基于传统方法和深度学习方法的配准精度比较
从实验结果能够明显看出，无论是改进前的GNN+IDAM方法，还是改进后的GNN+本案方法，都已超过了改进后的自适应烟花配准算法，此外，深度学习方法拥有着巨大的提升潜力，未来将进一步领先传统点云配准方法。将实验结果进行可视化，然后按照迭代轮次列出，其中，右上角颜色为源点云位置，左下角颜色为目标点云位置，两者中间的颜色为三种方式和改进ICP算法。对比图9(a)和(b)可以发现，(a)中的目标点云和预测位置略有偏差，而(b)则几乎完全重合，这也能够表明GNN+本案方法配准精度优于自适应烟花算法+ICP。
在实际应用过程中，性能也是一个重要参考指标。考虑到先前的基于烟花的配准算法所采样用语言为C++，与深度学习常用的python语言存在差异，为公平比较，将其过程重新用python语言进行编译。
表6性能比较
从实验结果来看，增强烟花算法+Tree_ICP耗时接近于基本烟花算法+Tree_ICP的2倍，而自适应烟花算法+Tree_ICP耗时略高于基本烟花配准算法。与传统优化算法不同，深度学习方法存在模型训练过程，该过程通常需要较长的耗时，这导致在处理单个点云时，深度学习方法性价比极低。
通过精度分析和性能分析对比两种方法后发现本案方案中基于深度学习的点云配准方法在精度和性能上均优于基于传统方法的点云配准，然而这并不能说明深度学习能够完全取代传统配准方法，在一定场景下，传统配准方法仍具有一定优势。两种方法的具体分析比较如下表6所示。
表6烟花系列优化方法和IDMA系列深度学习方法点云配准对比分析
从表6中可以能看出，基于深度学习的点云配准方法在大数据量、高精度场景具有较大优势，而传统方法在少数据量、低精度要求的数据场景仍保留有一席之地。
基于以上实验数据，进一步说明，本案方案在无噪声条件下通过潜在表面一致约束损失能够有效提升模型的泛化性能和鲁棒性，旋转矩阵R均方根误差和平均绝对误差分别降低了约25％和20％；通过降噪和表面一致约束的方式能够有效提升网络模型的抗噪性能，在0.25％高斯噪声范围内，潜在表面网络结构在旋转矩阵R和平移矩阵t上有较大幅度提升；当噪声过大时，可能会导致预测表面存在偏差，进而影响最终的配准结果；深度学习系列匹配方法目前在精度和性能上已经超过传统烟花系列配准方法。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的各实例的单元及方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已按照功能一般性地描述了各示例的组成及步骤。这些功能是以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不认为超出本发明的范围。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如：只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现，相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种基于深度学习无监督的点云配准方法，其特征在于，包含：
构建点云配准网络并进行训练，其中，点云配准网络包含：用于提取清洁源点云特征和清洁目标点云特征的孪生网络，用于利用清洁目标点云特征和清洁源点云特征的张量拼接来迭代更新并纠正清洁源点云的相似矩阵卷积，用于对清洁目标点云和更新纠正后的清洁源点云的点云噪声进行预测的潜在表面预测网络，和依据点云噪声预测结果并利用降噪方式获取点云空间点位置以依据点云空间点位置对源点云和目标点云进行一一对应的点云配准输出；
采集待测物体的目标点云和源点云，并将两者输入至训练后的点云配准网络中，通过点云配准网络来实现待测物体的目标点云和源点云的点云配准。
2.根据权利要求1所述的基于深度学习无监督的点云配准方法，其特征在于，所述孪生网络采用GNN网络结构来对源点云和目标点云进行特征提取，并利用多层感知器来获取特征显著性得分，分别对源点云和目标点云中所有点的显著性得分进行排序，分别选取显著性得分满足预设阈值的点作为清洁源点云和清洁目标点云。
3.根据权利要求1所述的基于深度学习无监督的点云配准方法，其特征在于，所述相似矩阵卷积中，通过在张量特征维度将源点云特征和目标点云特征进行合并联合编码来获取源点云和目标点云距离增强特征，提取每个点的相似度得分并对距离增强特征进行融合，使用softmax函数将相似矩阵值转换为概率值，并利用argmax函数来寻找源点云和目标点云的最佳对应关系。
4.根据权利要求3所述的基于深度学习无监督的点云配准方法，其特征在于，在张量特征维度将源点云特征和目标点云特征进行合并联合编码中，第n次迭代源点云一点pi和目标点云一点qj的特征张量值表示为
其中，[·；·]表示张量特征维度的合并联合编码；fs(i)表示源点云在i点的特征；ft(j)表示目标点云在j点的特征；||pi-qj||表示pi和qj之间的欧式距离；/>
表示从qj指向pi的单位向量。
5.根据权利要求4所述的基于深度学习无监督的点云配准方法，其特征在于，利用argmax函数来寻找源点云和目标点云的最佳对应关系中，利用奇异值分解SVD方法将寻找过程进行优化，并将优化后的寻找过程转化为：
利用分解的变换矩阵R(n)和t(n)来更新源点云位置，R和t为源点云和目标点云的刚体变换矩阵。
6.根据权利要求3所述的基于深度学习无监督的点云配准方法，其特征在于，针对相似矩阵卷积中源点云和目标点云距离增强特征，通过聚合源点云中指定点所有可能对应信息并利用有效性分数来获取混合消除权重，其中，混合消除权重中第i个点对的权重表示为
表示指示函数，v(i)为有效性分数，/>
σ(·)表示sigmoid函数，/>
表示按照元素排列不变合并操作；T表示多层感知机，F(i，j)表示特征融合矩阵张量第i行第j列所包含的数值，Mk(v(k))表示对v(k)的第k维度求均值。
7.根据权利要求1所述的基于深度学习无监督的点云配准方法，其特征在于，点云配准网络训练中，基于总损失函数并利用样本数据集来对点云配准网络进行训练优化，其中，总损失函数表示为：Ltotal＝LPM+LNE+LHE+LLSU，LPM为用于监督相似矩阵卷积的点配准损失，LNE为用于监督提取清洁点云的负熵损失，LHE为以目标点云中存在点的概率作为监督信号来对正确标签予以反馈并对错误标签予以过滤的混合消除损失，LLSU为约束由噪声和点对应问题引配准精度不一致情形的潜在一致表面损失。
8.一种基于深度学习无监督的点云配准系统，其特征在于，包含：模型构建模块和点云配准模块，其中，
模型构建模块，构建点云配准网络并进行训练，其中，点云配准网络包含：用于提取清洁源点云特征和清洁目标点云特征的孪生网络，用于利用清洁目标点云特征和清洁源点云特征的张量拼接来迭代更新并纠正清洁源点云的相似矩阵卷积，用于对清洁目标点云和更新纠正后的清洁源点云的点云噪声进行预测的潜在表面预测网络，和依据点云噪声预测结果并利用降噪方式获取点云空间点位置以依据点云空间点位置对源点云和目标点云进行一一对应的点云配准输出；
点云配准模块，用于采集待测物体的目标点云和源点云，并将两者输入至训练后的点云配准网络中，通过点云配准网络来实现待测物体的目标点云和源点云的点云配准。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口、存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序，并在程序执行时实现权利要求1～7任一项所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1～7任一项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211685566.3A CN116188543B (zh) | 2022-12-27 | 2022-12-27 | 基于深度学习无监督的点云配准方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211685566.3A CN116188543B (zh) | 2022-12-27 | 2022-12-27 | 基于深度学习无监督的点云配准方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116188543A true CN116188543A (zh) | 2023-05-30 |
| CN116188543B CN116188543B (zh) | 2024-03-12 |
Family
ID=86443421
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211685566.3A Active CN116188543B (zh) | 2022-12-27 | 2022-12-27 | 基于深度学习无监督的点云配准方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116188543B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116452757A (zh) * | 2023-06-15 | 2023-07-18 | 武汉纺织大学 | 一种复杂场景下的人体表面重建方法和系统 |
| CN117095061A (zh) * | 2023-10-20 | 2023-11-21 | 山东大学 | 基于点云强度显著点的机器人位姿优化方法及系统 |
| CN118038085B (zh) * | 2024-04-09 | 2024-06-07 | 无锡学院 | 一种基于孪生网络的点云关键点检测方法及装置 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019226686A2 (en) * | 2018-05-23 | 2019-11-28 | Movidius Ltd. | Deep learning system |
| WO2020036742A1 (en) * | 2018-08-17 | 2020-02-20 | Nec Laboratories America, Inc. | Dense three-dimensional correspondence estimation with multi-level metric learning and hierarchical matching |
| WO2020154964A1 (en) * | 2019-01-30 | 2020-08-06 | Baidu.Com Times Technology (Beijing) Co., Ltd. | A point clouds registration system for autonomous vehicles |
| CN113077501A (zh) * | 2021-04-02 | 2021-07-06 | 浙江大学计算机创新技术研究院 | 一种基于特征学习的端到端点云配准方法 |
| CN113706710A (zh) * | 2021-08-11 | 2021-11-26 | 武汉大学 | 基于fpfh特征差异的虚拟点多源点云融合方法及系统 |
| CN113780389A (zh) * | 2021-08-31 | 2021-12-10 | 中国人民解放军战略支援部队信息工程大学 | 基于一致性约束的深度学习半监督密集匹配方法及系统 |
| CN114332175A (zh) * | 2021-12-16 | 2022-04-12 | 广东工业大学 | 一种基于注意力机制的低重叠3d动态点云配准方法和系统 |
| US20220189070A1 (en) * | 2020-12-16 | 2022-06-16 | Dassault Systemes | Machine-learning for 3d object detection |
| CN114937066A (zh) * | 2022-06-09 | 2022-08-23 | 重庆理工大学 | 基于交叉偏移特征与空间一致性的点云配准系统及方法 |
| CN115170626A (zh) * | 2022-07-07 | 2022-10-11 | 广西师范大学 | 一种基于深度特征进行鲁棒点云配准的无监督方法 |
| CN115471423A (zh) * | 2022-09-28 | 2022-12-13 | 吉林大学 | 一种基于生成对抗网络及自注意力机制的点云去噪方法 |
-
2022
- 2022-12-27 CN CN202211685566.3A patent/CN116188543B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019226686A2 (en) * | 2018-05-23 | 2019-11-28 | Movidius Ltd. | Deep learning system |
| WO2020036742A1 (en) * | 2018-08-17 | 2020-02-20 | Nec Laboratories America, Inc. | Dense three-dimensional correspondence estimation with multi-level metric learning and hierarchical matching |
| WO2020154964A1 (en) * | 2019-01-30 | 2020-08-06 | Baidu.Com Times Technology (Beijing) Co., Ltd. | A point clouds registration system for autonomous vehicles |
| US20220189070A1 (en) * | 2020-12-16 | 2022-06-16 | Dassault Systemes | Machine-learning for 3d object detection |
| CN113077501A (zh) * | 2021-04-02 | 2021-07-06 | 浙江大学计算机创新技术研究院 | 一种基于特征学习的端到端点云配准方法 |
| CN113706710A (zh) * | 2021-08-11 | 2021-11-26 | 武汉大学 | 基于fpfh特征差异的虚拟点多源点云融合方法及系统 |
| CN113780389A (zh) * | 2021-08-31 | 2021-12-10 | 中国人民解放军战略支援部队信息工程大学 | 基于一致性约束的深度学习半监督密集匹配方法及系统 |
| CN114332175A (zh) * | 2021-12-16 | 2022-04-12 | 广东工业大学 | 一种基于注意力机制的低重叠3d动态点云配准方法和系统 |
| CN114937066A (zh) * | 2022-06-09 | 2022-08-23 | 重庆理工大学 | 基于交叉偏移特征与空间一致性的点云配准系统及方法 |
| CN115170626A (zh) * | 2022-07-07 | 2022-10-11 | 广西师范大学 | 一种基于深度特征进行鲁棒点云配准的无监督方法 |
| CN115471423A (zh) * | 2022-09-28 | 2022-12-13 | 吉林大学 | 一种基于生成对抗网络及自注意力机制的点云去噪方法 |
Non-Patent Citations (2)
| Title |
|---|
| WEIXIAO LIU等: "LSG-CPD: Coherent Point Drift With Local Surface Geometry for Point Cloud Registration", 《PROCEEDINGS OF THE IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》, pages 15293 - 15302 * |
| 石晓敬: "三维点云配准中的关键技术研究", 《中国博士学位论文全文数据库 (信息科技辑)》, no. 15, pages 138 - 10 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116452757A (zh) * | 2023-06-15 | 2023-07-18 | 武汉纺织大学 | 一种复杂场景下的人体表面重建方法和系统 |
| CN116452757B (zh) * | 2023-06-15 | 2023-09-15 | 武汉纺织大学 | 一种复杂场景下的人体表面重建方法和系统 |
| CN117095061A (zh) * | 2023-10-20 | 2023-11-21 | 山东大学 | 基于点云强度显著点的机器人位姿优化方法及系统 |
| CN117095061B (zh) * | 2023-10-20 | 2024-02-09 | 山东大学 | 基于点云强度显著点的机器人位姿优化方法及系统 |
| CN118038085B (zh) * | 2024-04-09 | 2024-06-07 | 无锡学院 | 一种基于孪生网络的点云关键点检测方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116188543B (zh) | 2024-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116188543B (zh) | 基于深度学习无监督的点云配准方法及系统 | |
| CN109800648B (zh) | 基于人脸关键点校正的人脸检测识别方法及装置 | |
| Arnold et al. | Fast and robust registration of partially overlapping point clouds | |
| Liu et al. | Learning gaussian instance segmentation in point clouds | |
| Wang et al. | Adversarial grasp objects | |
| WO2024021523A1 (zh) | 基于图网络的大脑皮层表面全自动分割方法及系统 | |
| Agostinho et al. | CvxPnPL: A unified convex solution to the absolute pose estimation problem from point and line correspondences | |
| CN112926696A (zh) | 一种基于注意力图的可解释局部迁移互学习方法 | |
| Song et al. | A novel partial point cloud registration method based on graph attention network | |
| EP4009277A1 (en) | Methods and systems for generating end-to-end model to estimate 3-dimensional(3-d) pose of object | |
| Lv et al. | Learning to estimate 3-d states of deformable linear objects from single-frame occluded point clouds | |
| CN112529025A (zh) | 一种数据处理方法及装置 | |
| CN112329662B (zh) | 基于无监督学习的多视角显著性估计方法 | |
| CN115578574A (zh) | 一种基于深度学习和拓扑感知的三维点云补全方法 | |
| CN116228825A (zh) | 一种基于显著锚点几何嵌入的点云配准方法 | |
| CN113724325B (zh) | 一种基于图卷积网络的多场景单目相机位姿回归方法 | |
| Wang et al. | Robust point cloud registration using geometric spatial refinement | |
| Chen et al. | An application of improved RANSAC algorithm in visual positioning | |
| Slimani et al. | RoCNet++: Triangle-based descriptor for accurate and robust point cloud registration | |
| Zhao et al. | Coarse-fine surrogate model driven preference-based multi-objective evolutionary fuzzy clustering algorithm for color image segmentation | |
| Xiong et al. | SPEAL: Skeletal Prior Embedded Attention Learning for Cross-Source Point Cloud Registration | |
| Cheng et al. | Deep learning-based point cloud registration: a comprehensive investigation | |
| Ge et al. | Fusion-Mask-RCNN: Visual robotic grasping in cluttered scenes | |
| Xie et al. | Sa-dnet: A on-demand semantic object registration network adapting to non-rigid deformation | |
| CN117523549B (zh) | 基于深宽知识蒸馏的三维点云物体识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CB03 | Change of inventor or designer information |
Inventor after: Niu Zexuan Inventor after: Yuan Haijun Inventor after: Chen Siyu Inventor after: Yang Fan Inventor after: Guan Kai Inventor after: Zhu Xiaolei Inventor after: Jin Fei Inventor after: Du Yanfeng Inventor after: Yan Fei Inventor after: Zhao Ziming Inventor after: He Jiang Inventor after: Liu Yaqi Inventor before: Niu Zexuan Inventor before: Yuan Haijun Inventor before: Chen Siyu Inventor before: Yang Fan Inventor before: Guan Kai Inventor before: Zhu Xiaolei Inventor before: Jin Fei Inventor before: Du Yanfeng Inventor before: Yan Fei Inventor before: Zhao Ziming Inventor before: He Jiang Inventor before: Liu Yaqi |