CN114119690A - 一种基于神经网络重建高斯混合模型的点云配准方法 - Google Patents

一种基于神经网络重建高斯混合模型的点云配准方法 Download PDF

Info

Publication number
CN114119690A
CN114119690A CN202111536716.XA CN202111536716A CN114119690A CN 114119690 A CN114119690 A CN 114119690A CN 202111536716 A CN202111536716 A CN 202111536716A CN 114119690 A CN114119690 A CN 114119690A
Authority
CN
China
Prior art keywords
point cloud
mixture model
gaussian mixture
cloud data
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111536716.XA
Other languages
English (en)
Inventor
左一帆
黄小水
黎盛
夏雪
方玉明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202111536716.XA priority Critical patent/CN114119690A/zh
Publication of CN114119690A publication Critical patent/CN114119690A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于神经网络重建高斯混合模型的点云配准方法，包括获取真实场景相同物体或者场景在噪声和密度差异下的两个点云描述信息，采用基于三维空间变换模块去除点云之间的位姿差异信息；在特征空间中，使用堆叠信息交互模块融合点云数据；基于更新的特征，设计聚类网络预测每个点属于高斯混合模型中各分量的后验概率；通过非迭代方式结合两个点云数据还原目标物体的高斯混合模型，获取两个点云数据之间的变换矩阵，应用变换矩阵完成两个点云数据的配准。本发明在具有噪声和密度差异的真实场景中，具有鲁棒的算法性能和较低的运行时间的优点。

Description

一种基于神经网络重建高斯混合模型的点云配准方法
技术领域
本发明涉及三维点云数据的处理领域，具体的，涉及一种基于神经网络重建高斯混合模型的点云配准方法。
背景技术
近年来，随着LiDAR和Kinect等三维传感器越来越广泛的应用，在不同角度和距离采集的相同物体或场景原生点云数据的配准问题受到越来越多企业和研究人员的关注。在三维重建、自动驾驶等领域，由于受限于不同时刻采集数据时角度和距离的偏差，两个描述相同物体或场景的点云不仅有旋转和平移的误差，还有密度和噪声强度的差异。所以，大量应用需要将处于不同坐标系的相同物体或场景点云数据变换至同一坐标系下。点云配准任务通过估计旋转和平移变换矩阵以实现上述目标。
然而，由于点云数据存在无序性、低纹理性和易受环境影响等特点，所以，作为点云配准任务核心的变换矩阵估计问题极具挑战性，易导致配准陷入局部最优解。为提高算法性能，研究人员主要提出了两类方法：基于对应关系搜索的方法和无需对应关系搜索的方法。其中，基于对应关系搜索的方法通过得到精确的点与点对应关系估计两个点云之间的变换矩阵；与之相反的是，无需对应关系搜索的方法不需要估计任何对应关系，其基于深度学习以迭代优化的方式将两个点云在特征空间的差异最小化，并预测相应的变换矩阵。
基于对应关系搜索的方法起步较早，包含传统方法和基于深度学习的方法。传统方法主要分为对应关系搜索和变换估计两个过程。其中，对应关系搜索的目的是为每个点在另一个配对点云中找到对应点；变换估计则是基于这些对应点计算变换矩阵。在基于优化的传统方法中，这两个过程交替迭代进行，不断提高获得对应点的准确性。此外，还有基于点到高斯分布对应关系搜索的配准方法。该类方法基于高斯混合模型，通过迭代寻找点与分布的对应关系，分别基于两个点云数据构建高斯混合模型，完成点云之间变换矩阵估计。虽然，传统方法无需训练数据，但是，其在抑制噪声和密度差异等方面需要大量特殊的策略，该过程显著降低了算法的执行效率。此外，由于缺乏全局信息的指导，该类方法在迭代过程中易陷入局部最优解。近几年来，随着深度学习的发展，基于机器学习的点云描述符在配准任务中逐渐成为主流，这类算法通过监督学习获取每个点具有刚性变换不变性的局部特征。与传统方法不同的是，基于这类描述符的配准方法不需要迭代的过程，其往往基于特征匹配得到的对应关系直接估计变换矩阵。得益于深度学习强大表征能力，这类方法的精度和效率与传统方法相比有了明显提升。然而，该类方法目前仍然具有以下缺陷：一是特征提取模型的训练需要大量的人工标注；二是输入点云分布与训练数据分布有较大差异时，其性能会急剧下降；三是由于这类方法的描述符训练阶段与变换矩阵估计阶段是独立完成的，不能通过端到端的训练方式优化描述符提取以提高配准精度。
另一类无需对应关系搜索的方法依托于神经网络，为每个点云提取高维全局特征，基于特征的差异获得变换矩阵，并通过迭代的方式不断最小化两个特征的投影误差以优化变换矩阵。这些神经网络采用以原生点云数据为输入，以两个点云之间的变换矩阵为输出的端对端训练模式，其有助于优化配准任务的精度。然而，这类方法具有两方面的缺陷：第一，其仅使用两个点云数据的全局特征，而忽略了点云数据的关键局部结构信息；第二迭代优化过程降低了算法的执行效率。
发明内容
针对现有技术的不足，本发明结合深度神经网络和传统高斯混合模型算法的优点，提出一种基于神经网络重建高斯混合模型的点云配准方法，该方法基于单高斯混合模型，采用新颖的堆叠信息交互神经网络模块在特征域融合两个点云的信息，重建目标物体的高斯混合模型表征，并基于该模型表征计算两个点云之间的变换矩阵。
为实现上述目的，本发明通过以下技术方案予以实现：一种基于神经网络重建高斯混合模型的点云配准方法，包括：获取真实场景相同物体或者场景在噪声和密度差异下的两个点云描述信息，采用基于三维空间变换模块去除点云之间的位姿差异信息；在特征空间中，使用堆叠信息交互模块融合点云数据；基于更新的特征，设计聚类网络预测每个点属于高斯混合模型中各分量的后验概率；通过非迭代方式结合两个点云数据还原目标物体的高斯混合模型，获取两个点云数据之间的变换矩阵，应用变换矩阵完成两个点云数据的配准。
进一步的，获取两个点云数据之间的变换矩阵包括：获取两个点云数据之间的旋转变换矩阵与平移变换矩阵。
进一步的，获取真实场景相同物体在噪声和密度差异下的两个点云描述信息包括：基于三维物体模型数据，对每个目标物体进行至少两次随机采样，对随机采样获得的点云数据进行归一化处理，将两个点云数据的三维坐标统一缩放至相同范围。
进一步的，将两个点云数据的三维坐标统一缩放至相同范围后，还对两个点云数据进行随机数据增强，获得训练数据。
进一步的，对点云数据的随机增强包括：在0至45度范围内随机旋转；和/或在0至50厘米范围内随机平移。
进一步的，采用基于三维空间变换模块去除点云之间的较大位姿差异信息包括：分别将两个点云描述信息输入共享参数的三维空间变换网络，使用基于学习的方式回归变换矩阵，对两个点云描述信息进行几何变换去除位姿差异。
进一步的，使用堆叠信息交互模块融合点云数据包括：设计信息交互模块内部的互注意力子网络，根据特征相似度获取每个点在另一个点云上的加权全局信息，结合初始点特征完成对每个点特征的更新。
进一步的，设计聚类网络预测每个点属于高斯混合模型中各分量的后验概率包括：将两个点云数据的特征图分别进行最大池化获得对应的全局特征向量，该全局特征向量分别与对应点云数据中每个点的局部特征在通道维度合并后输入共享参数的聚类网络，以预测所有点的高斯分量后验概率。
进一步的，基于聚类网络预测的后验概率，以非迭代方式构建高斯混合模型的全部参数，并间接得到表示两个点云数据之间旋转和平移的变换矩阵。
与现有技术相比，本发明的有益效果是：
本发明基于神经网络重建高斯混合模型的点云配准方法采用互注意力机制完成两个点云之间的信息融合，利用更新后的融合特征直接重建出目标物体的高斯混合模型，并基于该模型估计两个点云之间的变换关系，完成配准任务。通过定量和定性实验分析，与现有技术相比，本发明在处理具有噪声和密度差异的真实场景中，具有鲁棒的算法性能和较低的运行时间的优点。
附图说明
图1为本发明基于神经网络重建高斯混合模型的点云配准方法实施例的流程图。
图2为本发明基于神经网络重建高斯混合模型的点云配准方法实施例的网络拓扑图。
图3为本发明基于神经网络重建高斯混合模型的点云配准方法实施例的互注意力子网络拓扑图。
图4为本发明基于神经网络重建高斯混合模型的点云配准方法实施例配准效果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，本发明的基于神经网络重建高斯混合模型的点云配准方法首先执行步骤S1，获取真实场景相同物体或场景在噪声和密度差异下的两个点云描述信息，采用基于三维空间变换模块去除点云描述信息之间较大的位姿差异。具体的，本实施例基于现有三维物体模型数据，对每个目标物体进行两次随机采样，以模拟随机噪声和密度差异。随后，对点云数据进行归一化处理，将两个点云数据的三维坐标统一缩放至相同范围，并进行随机数据增强，获得训练数据。其中，对点云数据进行随机增强包括在0至45度范围内随机旋转和/或在0至50厘米范围内随机平移。另外，采用基于三维空间变换模块去除点云之间较大位姿差异可以是：分别将两个点云数据输入共享参数的三维空间变换网络，经过模型训练回归变换矩阵，对两个点云数据进行几何变换以去除较大的位姿差异，从而提升卷积网络特征提取的鲁棒性。
然后，执行步骤S2，在特征空间中，使用堆叠信息交互模块充分融合点云信息以更新每个点的特征。具体的，本实施例通过设计信息交互模块内部的互注意力子网络，根据特征相似度获取每个点在另一个点云描述信息上的加权全局信息，结合初始点特征完成对每个点特征的更新。通过在不同的特征维度上多次使用该模块，以实现两个点云描述信息的充分交互。
接着，执行步骤S3，基于更新的特征，设计聚类网络预测每个点属于高斯混合模型中各分量的后验概率。具体的，将两个点云数据的特征图分别进行最大池化获得对应的全局特征向量，该全局特征向量分别与对应点云数据中每个点的局部特征在通道维度合并后输入共享参数的聚类网络，预测所有点的高斯分量后验概率。
然后，执行步骤S4，使用预测的概率和点云数据完成高斯混合模型的构建，并间接得到两个点云之间的变换矩阵。具体的，基于所述聚类网络预测的后验概率，以非迭代方式结合两个点云的信息还原目标物体的高斯混合模型，并间接得到两个点云数据之间的几何关系，也就是获得旋转变换矩阵和平移变换矩阵，以完成点云配准任务。
最后，执行步骤S5，应用变换矩阵完成两个点云的配准。
下面结合图2说明本实施例的基于神经网络重建高斯混合模型的点云配准方法的拓扑结构。本实施例以源点云1和目标点云2作为输入，具体的，源点云1可以采用下面的公式表示：
Figure RE-GDA0003454284540000061
目标点云2采用下面的公式表示：
Figure RE-GDA0003454284540000062
通过从X到Y变换矩阵Tgt的监督学习一个聚类函数，预测点云数据中每个点对应各高斯分量的后验概率，结合两个点云描述信息以重建目标物体的高斯混合模型。此过程中间接获得预测的旋转矩阵和平移矩阵。优选的，本实施例的拓扑结构主要包括聚类和参数求解两个部分，由于其中包含的各个模块均可微，因此本方法可用端到端的方式训练。
具体的，本实施例采用的聚类部分包括三维空间变换网络10、信息交互模块20、信息交互模块50以及聚类预测模块80。
将源点云1和目标点云2分别输入共享参数的三维空间变换网络10，经过卷积层11、12、13逐步提取每个点的特征，然后使用池化层14提取全局特征，并经过三个全连接层15、16、17获得初步预测的变换关系，分别对两个点云数据使用相应的变换以消除其较大的位姿差异。
信息交互模块20由局部特征提取单元30和一个互注意力单元40组成，首先在该阶段内为每个点提取局部几何特征。随后，在特征维度上，该特征通过互注意的方式完成特征信息的交互融合。局部特征提取单元30以三维空间变换网络10输出的点云数据为输入，其包括两个由Relu激活的卷积层31、 32。在该单元内分别对点云数据X和点云数据Y使用共享参数的卷积层渐进式提取局部几何特征Fx和Fy，将其共同输入互注意力单元40，实现特征空间中的信息交互。以互注意力单元更新Fx为例，将Fx与Fy同时输入互注意力单元40，此时如图3所示的Q为Fx，K和V均为Fy。将Q、K和V分别经过对应的全连接层101、102和103后，通过Q和K的相似度与V做点乘得到Q 中每个特征所对应V的加权全局信息，分别与Q中对应的特征相连后送入全连接层104、105，获得融合的特征。互注意力单元的计算公式如下：
Figure RE-GDA0003454284540000071
其中，
Figure RE-GDA0003454284540000072
表示Fx中第i个点特征在c维特征空间中所加权得到的信息，A是 Q和K的相似度，softmax是归一化指数函数。随后，该信息与Fx在对应位置的特征维度上相连，完成对Fx的更新。同理，Fy采用相同的方式更新。将Fx与 Fy经过信息交互模块20和信息交互模块50后，Fx与Fy在不同维度上实现了充分信息交互，对应特征更新为
Figure RE-GDA0003454284540000073
与
Figure RE-GDA0003454284540000074
其中C表示完成了信息交互后每个点的局部特征维度。
本实施例中，两个信息交互模块20、50有着相同的结构，信息交互模块 50由局部特征提取单元60和一个互注意力单元70组成，局部特征提取单元 60包括卷积层61以及卷积层62。信息交互模块50与信息交互模块20的区别在于两个模块内的局部特征提取单元30、60提取不同维度的特征。同时，互注意力单元40和70在不同维度的特征空间上进行信息交互。
聚类预测模块80由一个池化层81和若干个全连接层82、83、84、85、 86组成，每次输入一个点云的特征图，并预测每个点属于单高斯混合模型中各分量的后验概率。聚类预测模块80在计算两个输入的特征图时共享参数。具体的，首先将输入的Fx进行最大池化得到点云X的全局特征
Figure RE-GDA0003454284540000075
将 Fx中每个点局部特征分别与该全局特征在通道维度上合并得到
Figure RE-GDA0003454284540000076
使每个点同时具有局部信息与全局信息。该特征经过若干全连接层预测点对应高斯分量的后验概率
Figure RE-GDA0003454284540000077
其中L代表高斯混合模型中高斯分量的个数。同样的，可得到点云Y中每个点的后验概率
Figure RE-GDA0003454284540000078
基于神经网络重建高斯混合模型的点云配准方法的拓扑结构还包括参数求解部分，参数求解部分包括高斯混合模型参数求解模块90和变换矩阵求解模块110。其中，高斯混合模型参数求解模块90基于神经网络预测的后验概率和原始点云数据，求出对应高斯混合模型的全部参数。具体的，首先，根据输入的两个点云
Figure RE-GDA0003454284540000079
与
Figure RE-GDA00034542845400000710
和神经网络求解得到的后验概率
Figure RE-GDA00034542845400000711
与
Figure RE-GDA00034542845400000712
分别计算出两个点云数据在每一个高斯分量内的加权平均值。计算公式如式2所示：
Figure RE-GDA0003454284540000081
其中
Figure RE-GDA0003454284540000082
表示第l个高斯分量，
Figure RE-GDA0003454284540000083
与
Figure RE-GDA0003454284540000084
分别代表点云X与点云Y在 l中的加权平均值。
同时，该高斯混合模型的均值μ可由下式求得：
Figure RE-GDA0003454284540000085
高斯混合模型中协方差矩阵σ2的求解过程如下：
Figure RE-GDA0003454284540000086
其中
Figure RE-GDA0003454284540000087
此外，每个高斯分量在高斯混合模型中的权重π为：
Figure RE-GDA0003454284540000088
由此，使用该高斯混合模型的参数{π，μ，σ2}可表示点云数据X与点云数据Y所描述目标物体的分布信息。由于神经网络可以准确预测每个点的后验概率，与传统高斯混合模型配准方法相比，本实施例无需迭代便可构建精确的高斯混合模型。
变换矩阵求解模块110首先分别计算点云数据X和点云数据Y变换至该高斯混合模型所描述分布S的变换关系，并间接获得点云数据X与点云数据 Y之间的变换矩阵。以求解点云数据X至分布S的变换矩阵为例，其旋转矩阵RX可由下式解得：
Figure RE-GDA0003454284540000089
其中UX和VX是对矩阵WXΛXPXΛXμ奇异值分解后分别得到的左矩阵和右矩阵，ΛX是由
Figure RE-GDA00034542845400000810
组成的维度为L×L的对角矩阵，PX是值为
Figure RE-GDA00034542845400000811
的投影矩阵，e是一个值为1的向量。得到点云数据X到高斯混合模型的旋转矩阵后，平移矩阵tX就可通过下式计算得出：
Figure RE-GDA0003454284540000091
由此，点云数据X至分布S的变换矩阵已完成求解。同理，点云数据Y 至分布S的变换矩阵如下所示：
Figure RE-GDA0003454284540000092
由式8中X、Y与S的等式关系可解得：
Figure RE-GDA0003454284540000093
其中RXY和tXY分别表示从点云数据X变换至点云数据Y的旋转变换矩阵和平移变换矩阵，因此图2中最终预测的变换矩阵3为TXY＝[RXY，tXY]。
从图4可以看出，本发明基于神经网络重建高斯混合模型的点云配准方法实施例配准的方法，能够有效的将两个不同的点云数据进行配准，配准效果好。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (9)

1.一种基于神经网络重建高斯混合模型的点云配准方法，其特征在于，包括：
获取真实场景相同物体或者场景在噪声和密度差异下的两个点云描述信息，采用基于三维空间变换模块去除点云之间的位姿差异信息；
在特征空间中，使用堆叠信息交互模块融合点云数据；
基于更新的特征，设计聚类网络预测每个点属于高斯混合模型中各分量的后验概率；
通过非迭代方式结合两个点云数据还原目标物体的高斯混合模型，获取两个点云数据之间的变换矩阵，应用所述变换矩阵完成两个点云数据的配准。
2.根据权利要求1所述的基于神经网络重建高斯混合模型的点云配准方法，其特征在于：
获取两个点云数据之间的变换矩阵包括：获取两个点云数据之间的旋转变换矩阵与平移变换矩阵。
3.根据权利要求1或2所述的基于神经网络重建高斯混合模型的点云配准方法，其特征在于：
获取真实场景相同物体在噪声和密度差异下的两个点云描述信息包括：基于三维物体模型数据，对每个目标物体进行至少两次随机采样，对随机采样获得的点云数据进行归一化处理，将两个点云数据的三维坐标统一缩放至相同范围。
4.根据权利要求3所述的基于神经网络重建高斯混合模型的点云配准方法，其特征在于：
将两个点云数据的三维坐标统一缩放至相同范围后，还对两个点云数据进行随机数据增强，获得训练数据。
5.根据权利要求4所述的基于神经网络重建高斯混合模型的点云配准方法，其特征在于：
对所述点云数据的随机增强包括：在0至45度范围内随机旋转；和/或
在0至50厘米范围内随机平移。
6.根据权利要求1或2所述的基于神经网络重建高斯混合模型的点云配准方法，其特征在于：
采用基于三维空间变换模块去除点云之间的较大位姿差异信息包括：分别将两个点云描述信息输入共享参数的三维空间变换网络，使用基于学习的方式回归变换矩阵，对两个点云描述信息进行几何变换去除位姿差异。
7.根据权利要求1或2所述的基于神经网络重建高斯混合模型的点云配准方法，其特征在于：
使用堆叠信息交互模块融合点云数据包括：设计信息交互模块内部的互注意力子网络，根据特征相似度获取每个点在另一个点云上的加权全局信息，结合初始点特征完成对每个点特征的更新。
8.根据权利要求1或2所述的基于神经网络重建高斯混合模型的点云配准方法，其特征在于：
设计聚类网络预测每个点属于高斯混合模型中各分量的后验概率包括：将两个点云数据的特征图分别进行最大池化获得对应的全局特征向量，该全局特征向量分别与对应点云数据中每个点的局部特征在通道维度合并后输入共享参数的聚类网络，以预测所有点的高斯分量后验概率。
9.根据权利要求8所述的基于神经网络重建高斯混合模型的点云配准方法，其特征在于：
基于所述聚类网络预测的后验概率，以非迭代方式构建高斯混合模型的全部参数，并间接得到表示两个点云数据之间旋转和平移的变换矩阵。
CN202111536716.XA 2021-12-16 2021-12-16 一种基于神经网络重建高斯混合模型的点云配准方法 Pending CN114119690A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111536716.XA CN114119690A (zh) 2021-12-16 2021-12-16 一种基于神经网络重建高斯混合模型的点云配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111536716.XA CN114119690A (zh) 2021-12-16 2021-12-16 一种基于神经网络重建高斯混合模型的点云配准方法

Publications (1)

Publication Number Publication Date
CN114119690A true CN114119690A (zh) 2022-03-01

Family

ID=80365672

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111536716.XA Pending CN114119690A (zh) 2021-12-16 2021-12-16 一种基于神经网络重建高斯混合模型的点云配准方法

Country Status (1)

Country Link
CN (1) CN114119690A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114862692A (zh) * 2022-04-01 2022-08-05 华南理工大学 一种基于标准化流理论的三维点云去噪方法
CN117689698A (zh) * 2024-02-04 2024-03-12 安徽蔚来智驾科技有限公司 点云配准方法、智能设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114862692A (zh) * 2022-04-01 2022-08-05 华南理工大学 一种基于标准化流理论的三维点云去噪方法
CN114862692B (zh) * 2022-04-01 2024-04-02 华南理工大学 一种基于标准化流理论的三维点云去噪方法
CN117689698A (zh) * 2024-02-04 2024-03-12 安徽蔚来智驾科技有限公司 点云配准方法、智能设备及存储介质
CN117689698B (zh) * 2024-02-04 2024-04-19 安徽蔚来智驾科技有限公司 点云配准方法、智能设备及存储介质

Similar Documents

Publication Publication Date Title
Xie et al. Point clouds learning with attention-based graph convolution networks
Zhao et al. A robust method for vector field learning with application to mismatch removing
CN108665491B (zh) 一种基于局部参考点的快速点云配准方法
CN111652892A (zh) 一种基于深度学习的遥感影像建筑物矢量提取及优化方法
Zhang et al. Vis-mvsnet: Visibility-aware multi-view stereo network
Wu et al. Feature interactive representation for point cloud registration
CN114119690A (zh) 一种基于神经网络重建高斯混合模型的点云配准方法
CN114170410A (zh) 基于PointNet的图卷积与KNN搜索的点云零件级分割方法
Mei et al. COTReg: Coupled optimal transport based point cloud registration
Guo et al. Line-based 3d building abstraction and polygonal surface reconstruction from images
Li et al. DeepSIR: Deep semantic iterative registration for LiDAR point clouds
CN112967210A (zh) 一种基于全卷积孪生网络的无人机图像去噪方法
Zhou et al. Miper-MVS: Multi-scale iterative probability estimation with refinement for efficient multi-view stereo
CN117132737A (zh) 一种三维建筑模型构建方法、系统及设备
Shi et al. City-scale continual neural semantic mapping with three-layer sampling and panoptic representation
Liu et al. A fragment fracture surface segmentation method based on learning of local geometric features on margins used for automatic utensil reassembly
CN115797557A (zh) 基于图注意力网络的自监督3d场景流估计方法
CN114677508A (zh) 一种基于动态滤波和逐点相关的点云实例语义分割方法
Slimani et al. RoCNet++: Triangle-based descriptor for accurate and robust point cloud registration
CN114648560A (zh) 分布式图像配准方法、系统、介质、计算机设备及终端
Li et al. Adaptive weighted motion averaging with low-rank sparse for robust multi-view registration
Yang et al. A multilevel object pose estimation algorithm based on point cloud keypoints
Zhang et al. Neural guided visual slam system with Laplacian of Gaussian operator
Yang et al. SA-MVSNet: Self-attention-based multi-view stereo network for 3D reconstruction of images with weak texture
Xu et al. Local Feature Matching Using Deep Learning: A Survey

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination