CN113538535A - 一种基于双分支特征交互的3d点云配准网络模型及配准方法 - Google Patents

一种基于双分支特征交互的3d点云配准网络模型及配准方法 Download PDF

Info

Publication number
CN113538535A
CN113538535A CN202110800809.2A CN202110800809A CN113538535A CN 113538535 A CN113538535 A CN 113538535A CN 202110800809 A CN202110800809 A CN 202110800809A CN 113538535 A CN113538535 A CN 113538535A
Authority
CN
China
Prior art keywords
point cloud
feature
network
translation
global
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110800809.2A
Other languages
English (en)
Inventor
刘帅成
徐昊
刘光辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202110800809.2A priority Critical patent/CN113538535A/zh
Publication of CN113538535A publication Critical patent/CN113538535A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

本发明提出了一种基于双分支特征交互的3D点云配准网络模型及配准方法，提取输入的源点云和目标点云的联合信息，保证可以让点云特征提取时源点云和目标点云可以与对方的信息进行融合，以增强对部分点云配准时点云形状信息的感知，同时，可以一种端到端的方式由粗到精地估计源点云和目标点云间的3D刚体变换，用于源点云和目标点云的配准，来降低3D点云配准的误差。本发明专为部分重叠的点云对而设计，通过使用迭代的卷积神经网络以从粗到精的方式学习点云刚体变换；采用双分支的结构对旋转和平移的特征提取过程和参数回归过程进行分离，以避免旋转和平移处在不同的解空间的问题，同时赋予网络提取得到的特征可以只关注于旋转或平移的能力。

Description

一种基于双分支特征交互的3D点云配准网络模型及配准方法
技术领域
本发明属于计算机图像视觉技术领域，具体地说，涉及一种基于双分支特征交互的3D点云配准网络模型及配准方法。
背景技术
3D点云配准是匹配和叠加在不同时间、不同视角以及不同传感器下获取的两个或多个点云的过程，此技术被广泛应用于三维场景重建(3D Scene Reconstruction)、同步定位和地图绘制(Simultaneous Localization And Mapping)、增强现实(AugmentedReality)和自动驾驶(Autopilot)等应用和领域。
在现有的各种点云配准方法中，基于最近邻迭代(Iterative Closest Point)的算法由于其简单性和效率而得到了广泛的应用。该方法通过迭代的方式重复计算欧式空间中坐标的最近邻点来确定匹配点对，再利用奇异值分解(Singular Value Decomposition)的方式求解刚体变换矩阵，其求解精度高度依赖于源点云和目标点云初始位置的差异大小、噪声大小以及重叠程度。当在处理初始位置差异大、噪声干扰强以及重叠程度小的场景时，上述方法确定的匹配点对通常会出错，导致无法正常对此类场景进行配准。
后续有研究人员提出了基于DNN的方法来学习鲁棒的深度特征，这些特征可以成功处理较大的初始位置差异和较强的噪声场景。但在提取点云特征时，缺乏源点云和目标点云间的信息交互，导致特征提取的过程缺乏对点云形状的感知，进而影响对部分重叠点云的配准效果。为了让算法针对部分重叠的点云拥有更强的配准能力，基于外点滤除的方法被提出，但由于其仍需要匹配对应点对，只能利用点云中稀疏的部分点的信息，导致其配准精度难以提高。
发明内容
本发明基于现有技术的上述缺陷，提出了一种基于双分支特征交互的3D点云配准网络模型及配准方法，提取输入的源点云和目标点云的联合信息，保证可以让点云特征提取时源点云和目标点云可以与对方的信息进行融合，以增强对部分点云配准时点云形状信息的感知，同时，可以一种端到端的方式由粗到精地估计源点云和目标点云间的3D刚体变换，用于源点云和目标点云的配准，来降低3D点云配准的误差。本发明专为部分重叠的点云对而设计，通过使用迭代的卷积神经网络以从粗到精的方式学习点云刚体变换；采用双分支的结构对旋转和平移的特征提取过程和参数回归过程进行分离，以避免旋转和平移处在不同的解空间的问题，同时赋予网络提取得到的特征可以只关注于旋转或平移的能力。
本发明具体实现内容如下：
本发明提出了一种基于双分支特征交互的3D点云配准网络模型，用于对目标点云和源点云进行3D点云配准，且在3D点云配准过程中，对目标点云和源点云进行信息交互融合，所述3D点云配准网络模型包括双分支特征提取网络、双分支参数回归网络；
所述双分支特征提取网络包括旋转特征提取分支网络和平移特征提取分支网络；所述双分支参数回归网络包括旋转参数回归网络和平移参数回归网络；
所述旋转特征提取分支网络和平移特征提取分支网络为由多层卷积块、向量拼接层和最大值池化层依次连接构成，在旋转特征提取分支网络和平移特征提取分支网络中的多层卷积块之间设置有点特征交互模块；
所述点特征交互模块内设置两路依次连接的最大值池化层和向量拼接层；一个所述点特征交互模块中的最大值池化层还分别与另一歌特征交互模块中的向量拼接层连接；
所述旋转特征提取分支网络和平移特征提取分支网络的输出端分别对应与旋转参数回归网络和平移参数回归网络连接；
所述旋转参数回归网络和平移参数回归网络都设置全局特征交互模块；
所述旋转参数回归网络中还设置有旋转回归网络，所述平移参数回归网络中还设置有平移回归网络。
本发明还提出了一种基于双分支特征交互的3D点云配准方法，包括以下步骤：
步骤1：将源点云X和目标点云Y都分别输入到旋转特征提取分支网络和平移特征提取分支网络中；通过旋转特征提取分支网络提取得到源点云X的旋转全局特征
Figure BDA0003164711730000021
和目标点云Y的旋转全局特征
Figure BDA0003164711730000022
通过平移特征提取分支网络提取得到源点云X的平移全局特征
Figure BDA0003164711730000023
和目标点云的平移全局特征
Figure BDA0003164711730000024
步骤2：将得到旋转全局特征
Figure BDA0003164711730000025
旋转全局特征
Figure BDA0003164711730000026
输入到旋转参数回归网络中，将平移全局特征
Figure BDA0003164711730000027
和平移全局特征
Figure BDA0003164711730000028
输入到平移参数回归网络中；
步骤3：在旋转参数回归网络的全局特征交互模块中，将输入的旋转全局特征
Figure BDA0003164711730000029
旋转全局特征
Figure BDA00031647117300000210
进行交互融合，分别得到源点云X融合后的旋转全局特征和目标点云Y融合后的旋转全局特征，然后通过源点云X融合后的旋转全局特征和目标点云Y融合后的旋转全局特征输入到旋转回归网络中得到表示3D旋转的四元数quat；
在平移参数回归网络的全局特征交互模块中，将输入的平移全局特征
Figure BDA00031647117300000211
和平移全局特征
Figure BDA00031647117300000212
进行交互融合，分别得到源点云X融合后的平移全局特征和目标点云Y融合后的平移全局特征，然后通过平移回归网络得到源点云X和目标点云Y各自的显著性点，然后将两者显著性点之间的差值作为3D平移的平移参数；
步骤4：将得到的四元数quat和平移参数trans作用到源点云X上，得到3D刚体变换后的源点云X，将3D刚体变换后的源点云X送入到下一次迭代的网络中。
为了更好地实现本发明，进一步地，所述步骤1中，在进行四种全局特征的提取时，通过点特征交互模块对不同级的源点云X的点特征和目标点云Y的点特征进行特征通道维度的拼接操作，然后通过最大值池化层进行最大值池化操作后实现交互融合，得到带有交互融合后的信息的旋转全局特征
Figure BDA0003164711730000031
旋转全局特征
Figure BDA0003164711730000032
平移全局特征
Figure BDA0003164711730000033
和平移全局特征
Figure BDA0003164711730000034
为了更好地实现本发明，进一步地，在步骤1-4的操作过程中，采用3D刚体变换敏感度损失函数、点特征丢弃损失函数和3D刚体变换回归损失函数的结合作为整个网络的损失函数进行训练，具体为，为每一次迭代过程中的3D刚体变换敏感度损失函数设置加权系数β，为点特征丢弃损失函数设置加权系数γ，为3D刚体变换回归损失函数设置加权系数为1，将三种损失函数乘以加权系数后的值相加作为单次迭代的单次损失函数，然后将多次迭代得到的单次损失函数求和取平均得到当前迭代的总损失函数。
为了更好地实现本发明，进一步地，所述3D刚体变换回归损失函数包括四元数回归损失函数和平移距离回归损失函数，为平移距离回归损失函数设定系数λ，将乘以系数λ后的平移距离回归损失函数和四元数回归损失函数相加得到3D刚体变换回归损失函数。
为了更好地实现本发明，进一步地，在所述双分支特征提取网络进行特征提取时，首先提取得到N个点的特征，然后随机丢弃一定比例的特征，只保留k个点的特征，k＜K；然后在经过最大值池化层处理后，使用点特征丢弃损失函数约束丢弃操作前后的特征间的距离；
所述点特征丢弃损失函数包括四项内容，具体为源点云X的旋转全局特征
Figure BDA0003164711730000035
的损失和平移全局特征
Figure BDA0003164711730000036
的损失，以及目标点云Y的平移全局特征
Figure BDA0003164711730000037
的损失和旋转全局特征
Figure BDA0003164711730000038
的损失。
为了更好地实现本发明，进一步地，所述3D刚体变换敏感度损失函数为约束旋转全局特征和平移全局特征的损失函数和整体损失函数的结合，约束旋转全局特征和平移全局特征的损失函数的表现形式为triplet loss损失函数。
本发明与现有技术相比具有以下优点及有益效果：
(1)为了对源点云和目标点云的旋转和平移信息可以更好的进行提取，本发明基于双分支特征交互的3D点云配准方法以端到端的方式构造一个源点云和目标点云多级特征交互的网络结构，避免了分开提取点云特征时无法对于输入点云的形状信息进行感知的问题；
(2)本发明是通过一个多级特征交互模块进行输入点云的信息交流的，构造三元损失来约束双分支特征提取模块的输出，保证特征对于旋转或是平移具备特定的敏感度；
(3)提出了点特征丢弃损失来避免点云特征的来源点分布过于集中，并结合3D刚体变换参数回归损失来训练本发明的网络，这样的特征提取和刚体变换估计方式，可以降低部分重叠的点云配准的误差。
附图说明
图1为本发明整体网络模型结构示意图；
图2为整体网络模型中的点特征交互模块的结构示意图；
图3为整体网络模型中的全局特征交互模块的结构示意图；
图4为图1-3中部分图像代表含义的说明示意图；
图5为本发明的流程示意图。
具体实施方式
为了更清楚地说明本发明实施例的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，应当理解，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例，因此不应被看作是对保护范围的限定。基于本发明中的实施例，本领域普通技术工作人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“设置”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；也可以是直接相连，也可以是通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1：
本实施例提出了一种基于双分支特征交互的3D点云配准网络模型，用于对目标点云和源点云进行3D点云配准，且在3D点云配准过程中，对目标点云和源点云进行信息交互融合，如图1、图2、图3、图4所示，所述3D点云配准网络模型包括双分支特征提取网络、双分支参数回归网络；
所述双分支特征提取网络包括旋转特征提取分支网络和平移特征提取分支网络；所述双分支参数回归网络包括旋转参数回归网络和平移参数回归网络；
所述旋转特征提取分支网络和平移特征提取分支网络为由多层卷积块、向量拼接层和最大值池化层依次连接构成，在旋转特征提取分支网络和平移特征提取分支网络中的多层卷积块之间设置有点特征交互模块；
所述点特征交互模块内设置两路依次连接的最大值池化层和向量拼接层；一个所述点特征交互模块中的最大值池化层还分别与另一歌特征交互模块中的向量拼接层连接；
所述旋转特征提取分支网络和平移特征提取分支网络的输出端分别对应与旋转参数回归网络和平移参数回归网络连接；
所述旋转参数回归网络和平移参数回归网络都设置全局特征交互模块；
所述旋转参数回归网络中还设置有旋转回归网络，所述平移参数回归网络中还设置有平移回归网络。
实施例2：
本实施例还提出了一种基于双分支特征交互的3D点云配准方法，如图1、图2、图3、图4、图5所示，包括以下步骤：
步骤1：将源点云X和目标点云Y都分别输入到旋转特征提取分支网络和平移特征提取分支网络中；通过旋转特征提取分支网络提取得到源点云X的旋转全局特征
Figure BDA0003164711730000051
和目标点云Y的旋转全局特征
Figure BDA0003164711730000052
通过平移特征提取分支网络提取得到源点云X的平移全局特征
Figure BDA0003164711730000053
和目标点云的平移全局特征
Figure BDA0003164711730000054
Figure BDA0003164711730000055
式中，m∈{X,Y},n∈{r,t}，左上标k为多层感知机中不同层的输出特征，max表示特征通道的最大值池化操作，cat表示特征通道维度的拼接操作；
Figure BDA0003164711730000056
为不同级的源点云或者目标点云的点特征；
在全局特征提取的过程中，对多层感知机不同级的源点云和目标点云的点特征进行交互融合，其公式可以定义为：
(k)fX＝(k)gθ(cat[(k-1)gX],broadcast(max((k-1)fY,NX)))；
式中，(k)gθ()为特征提取模块中多层感知机的第k个卷积块，(k)fX和(k)fY分别表示源点云和目标点云的点特征，broadcast(z,N)表示向量的广播机制，将向量z在channel维度广播N次；
步骤2：将得到旋转全局特征
Figure BDA0003164711730000057
旋转全局特征
Figure BDA0003164711730000058
输入到旋转参数回归网络中，将平移全局特征
Figure BDA0003164711730000059
和平移全局特征
Figure BDA00031647117300000510
输入到平移参数回归网络中；
步骤3：在旋转参数回归网络的全局特征交互模块中，将输入的旋转全局特征
Figure BDA00031647117300000511
旋转全局特征
Figure BDA0003164711730000061
进行交互融合，分别得到源点云X融合后的旋转全局特征和目标点云Y融合后的旋转全局特征；具体公式如下：
Figure BDA0003164711730000062
Figure BDA0003164711730000063
式中，
Figure BDA0003164711730000064
和
Figure BDA0003164711730000065
分别表示全局特征融合模块中对旋转和平移信息的融合网络，
Figure BDA0003164711730000066
和
Figure BDA0003164711730000067
分别表示融合后的源点云的旋转和平移特征，相应地将下标换为Y即为目标点云的特征；
在平移参数回归网络的全局特征交互模块中，将输入的平移全局特征
Figure BDA0003164711730000068
和平移全局特征
Figure BDA0003164711730000069
进行交互融合，分别得到源点云X融合后的平移全局特征和目标点云Y融合后的平移全局特征；具体计算方式同上。
然后通过源点云X融合后的旋转全局特征和目标点云Y融合后的旋转全局特征输入到旋转回归网络中得到表示3D旋转的四元数quat；通过平移回归网络得到源点云X和目标点云Y各自的显著性点，然后将两者显著性点之间的差值作为3D平移的平移参数trans；具体计算公式为：
Figure BDA00031647117300000610
Figure BDA00031647117300000611
Figure BDA00031647117300000612
trans＝cY-cX；
步骤4：将得到的四元数quat和平移参数trans作用到源点云X上，得到3D刚体变换后的源点云X，将3D刚体变换后的源点云X送入到下一次迭代的网络中。
实施例3：
本实施例在上述实施例2的基础上，为了更好地实现本发明，进一步地，采用3D刚体变换敏感度损失函数、点特征丢弃损失函数和3D刚体变换回归损失函数的结合作为整个网络的损失函数进行训练，具体为，为每一次迭代过程中的3D刚体变换敏感度损失函数设置加权系数β，为点特征丢弃损失函数设置加权系数γ，为3D刚体变换回归损失函数设置加权系数为1，将三种损失函数乘以加权系数后的值相加作为单次迭代的单次损失函数，然后将多次迭代得到的单次损失函数求和取平均得到当前迭代的总损失函数。具体公式如下：
Figure BDA00031647117300000613
式中，N为迭代次数，β和γ分别为损失的加权系数；Lp为3D刚体变换回归损失函数，Ld为点特征丢弃损失函数，Ls为3D刚体变换敏感度损失函数，i为具体的迭代次数。
本实施例的其他部分与上述实施例2相同，故不再赘述。
实施例4：
本实施例在上述实施例3的基础上，为了更好地实现本发明，进一步地，所述3D刚体变换回归损失函数包括四元数回归损失函数和平移距离回归损失函数，为平移距离回归损失函数设定系数λ，将乘以系数λ后的平移距离回归损失函数和四元数回归损失函数相加得到3D刚体变换回归损失函数。具体公式如下：
Lp＝|quat-quatgt|+λ||trans-transgt||2；
该损失包含两部分，分别是四元数回归损失和平移距离回归损失。其中，下标gt表示真实标签，λ表示平衡两个损失项的系数。约束四元数的损失使用L1距离，约束平移距离的损失使用L2距离。
本实施例的其他部分与上述实施例3相同，故不再赘述。
实施例5：
本实施例在上述实施例3的基础上，为了更好地实现本发明，进一步地，在所述双分支特征提取网络进行特征提取时，首先提取得到N个点的特征，然后随机丢弃一定比例的特征，只保留k个点的特征，k＜K；然后在经过最大值池化层处理后，使用点特征丢弃损失函数约束丢弃操作前后的特征间的距离；
所述点特征丢弃损失函数包括四项内容，具体为源点云X的旋转全局特征
Figure BDA0003164711730000071
的损失和平移全局特征
Figure BDA0003164711730000072
的损失，以及目标点云Y的平移全局特征
Figure BDA0003164711730000073
的损失和旋转全局特征
Figure BDA0003164711730000074
的损失。具体公式如下：
Figure BDA0003164711730000075
该损失包含四项，分别是对于源点云和目标点云的旋转和平移特征的损失。其中，上标r和t分别表示旋转和平移，下标X和Y分别表示特征来自于源点云和目标点云，X和Y的下标d表示X和Y的特征经过了随机的dropout操作。具体地，dropout操作为对于提取得到的N个点的特征，随机的丢弃一定比例的点特征，只保留k个点的特征，在经过最大值池化层后，约束dropout操作前后的特征间的距离。
该损失的目的在于约束全局特征的来源点的分布，由于约束dropout操作前后的特征距离，使得使用更加稀疏的点必须提取得到和未丢弃点前一样的特征。这样可以避免全局特征的来源点分布太过集中，无法利用点云的全局信息的问题。
本实施例的其他部分与上述实施例3相同，故不再赘述。
实施例6：
本实施例在上述实施例3的基础上，为了更好地实现本发明，进一步地，所述3D刚体变换敏感度损失函数为约束旋转全局特征和平移全局特征的损失函数和整体损失函数的结合，约束旋转全局特征和平移全局特征的损失函数的表现形式为tripletloss损失函数。具体公式如下：
Figure BDA0003164711730000081
Figure BDA0003164711730000082
工作原理：第一项为约束旋转特征的损失，表现形式为tripletloss；第二项为整体的损失，表示旋转和平移两个分支输出的特征的损失之和。其中，上标r和t分别表示旋转和平移，F表示特征提取模块输出的全局特征，下标X表示特征来自于源点云，下标Xt和Xr表示特征来自于经过当次迭代预测的刚体变换矩阵中的平移和旋转分别进行变换后的源点云，δ表示tripletloss中的margin项。
该损失约束目的在于约束双分支特征提取模块输出的旋转和平移的全局特征，tripletloss可以使旋转分支提取得到的特征对于刚体变换中的旋转变换更加敏感，同时对于平移变换不敏感，这样使得该分支输出的特征可以关注于输入点云中包含的3D旋转信息；与此相反，平移分支提取得到的特征对于刚体变化那种的平移变化更加敏感，同时对于旋转变换不敏感，这样使得该分支输出的特征可以关注于输入点云中包含的3D平移信息。由于旋转和平移分别属于不同的解空间，使用刚体变换敏感度损失对特征提取进行约束，分离旋转和平移信息有助于更好的对旋转和平移进行求解。
本实施例的其他部分与上述实施例3相同，故不再赘述。
实施例7：
本实施例在上述实施例1-6任一项的基础上，在本实施例中，如图1所示，本发明基于双分支特征交互的3D点云配准方法包括以下步骤：
一、模型的构建：
步骤S1：对输入点云对进行特征提取：
输入点云的原始信息仅包含其3D空间中每个点的XYZ坐标值，为使其具备更强的表达能力，且便于后续的特征交互，首先要将其原始的3D坐标信息映射到高维的特征空间中，具体的做法是通过多层感知机对对每个点的特征维度进行扩充。
步骤S2：对提取得到的输入点云的旋转和平移特征进行多级交互融合
步骤S2.1：在点特征提取过程中，对源点云和目标点云的点特征进行交互融合，具体的做法是在多层感知机的不同级，对源点云和目标点云先使用最大值池化聚合得到该级的全局特征，同时，使用该全局特征分别与对方的点特征进行拼接以达到交互的目的，再通过多层感知机后续的卷积块进行特征融合。其公式可以定义为：
(k)fX＝(k)gθ(cat[(k-1)gX],broadcast(max((k-1)fY,NX)))；
式中，(k)gθ()为特征提取模块中多层感知机的第k个卷积块，(k)fX和(k)fY分别表示源点云和目标点云的点特征；
步骤S3：在提取得到点云的全局特征后，由于旋转和平移分属于不同的解空间，需要对旋转和平移特征分别进行全局特征融合，源点云和目标点云的旋转特征通过交换拼接的次序，送入共享权重的多层感知机中得到各自的交互和融合后的特征；同样地，平移特征也使用相同的方式进行交互融合。其公式可以定义为：
Figure BDA0003164711730000091
Figure BDA0003164711730000092
式中，
Figure BDA0003164711730000093
和
Figure BDA0003164711730000094
分别表示全局特征融合模块中对旋转和平移信息的融合网络，
Figure BDA0003164711730000095
和
Figure BDA0003164711730000096
分别表示融合后的源点云的旋转和平移特征，相应地将下标换为Y即为目标点云的特征。
步骤S4：对3D刚体变换进行参数估计
对于得到的源点云和目标点云的融合后的全局特征，需要从其中估计得到源点云和目标点云相差的3D刚体变换参数。具体地，将特征提取模块的旋转分支输出的源点云和目标点云的旋转全局特征拼接起来输入到旋转回归网络中，得到表示3D旋转的四元数quat；同时，将平移分支输出的平移全局特征拼接起来输入到平移回归网络中，得到源点云和目标点云各自的显著性点，将其之间的差值作为3D平移t，其公式可以定义为：
Figure BDA0003164711730000097
Figure BDA0003164711730000098
Figure BDA0003164711730000099
trans＝cY-cX；
式中，
Figure BDA00031647117300000910
和
Figure BDA00031647117300000911
分别表示旋转和平移回归网络，cX和cY分别表示显著性点的坐标
二、模型的训练：
步骤S5：对整个网络进行监督方式的训练
将经过双分支点云特征提取模块得到的旋转和平移全局特征进行监督训练，为使旋转分支提取得到的特征对于刚体变换中的旋转变换更加敏感，同时对于平移变换不敏感，这样使得该分支输出的特征可以关注于输入点云中包含的3D旋转信息；与此相反，平移分支提取得到的特征对于刚体变化那种的平移变化更加敏感，同时对于旋转变换不敏感，这样使得该分支输出的特征可以关注于输入点云中包含的3D平移信息。具体地，3D刚体变换敏感度损失函数为：
Figure BDA0003164711730000101
Figure BDA0003164711730000102
式中，第一项为约束旋转特征的损失，表现形式为三元损失函数；第二项为整体的损失，表示旋转和平移两个分支输出的特征的损失之和。其中，上标r和t分别表示旋转和平移，F表示特征提取模块输出的全局特征，下标X表示特征来自于源点云，下标Xt表示特征来自于经过当次迭代预测的刚体变换矩阵进行变换后的源点云，δ表示三元损失函数中的距离阈值项；
其中，点特征丢弃损失函数约束全局特征的来源点的分布，约束丢弃操作前后的特征距离，避免全局特征的来源点分布太过集中，无法利用点云的全局信息的问题，具体地，点特征丢弃损失函数为：
Figure BDA0003164711730000103
式中，上标r和t分别表示旋转和平移，下标X和Y分别表示特征来自于源点云和目标点云，X和Y的下标d表示X和Y的特征经过了随机的丢弃操作。具体地，丢弃操作为对于提取得到的N个点的特征，随机的丢弃一定比例的点特征，只保留k个点的特征，在经过最大值池化层后，约束dropout操作前后的特征间的距离。
其中，3D刚体变换回归损失为：
Lp＝|quat-quatgt|+λ||trans-transgt||2
式中，下标gt表示真实标签，λ表示平衡两个损失项的系数。约束四元数的损失使用L1距离，约束平移距离的损失使用L2距离。
整个网络的训练损失函数是以上3D刚体变换敏感度、点特征丢弃和3D刚体变换回归损失函数的结合，表示为：
Figure BDA0003164711730000104
式中，N为迭代次数，β和γ分别为损失的加权系数。
三、进行测试配置：
步骤S5：对输入点云进行测试配准
对给定的相差一个3D刚体变换的源点云和目标点云，分别提取其全局特征；将全局特征进行融合后送入到3D刚体变换参数回归网络中，采用由粗到精的迭代方式预测其相差的3D刚体变换，最终使用预测得到的累积的3D刚体变换对源点云进行旋转和平移，达到与目标点云进行配准的目的。
在大规模点云数据集ModelNet40上测试本发明。ModelNet40数据集包含40个物体类别，其中8个包含轴对称数据的类别被去除，最终得到4,196个训练样本，1,002个验证样本和1,146个测试样本。比较结果如下表1所示：
Figure BDA0003164711730000111
表1
从表1、可以看出，本发明经特征信息交互后的融合配准性能在所有的验证集、所有度量方式上均优于现有方法。
本实施例的其他部分与上述实施例1-6任一项相同，故不再赘述。
以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (7)

1.一种基于双分支特征交互的3D点云配准网络模型，用于对目标点云和源点云进行3D点云配准，且在3D点云配准过程中，对目标点云和源点云进行信息交互融合，其特征在于，包括双分支特征提取网络、双分支参数回归网络；
所述双分支特征提取网络包括旋转特征提取分支网络和平移特征提取分支网络；所述双分支参数回归网络包括旋转参数回归网络和平移参数回归网络；
所述旋转特征提取分支网络和平移特征提取分支网络为由多层卷积块、向量拼接层和最大值池化层依次连接构成，在旋转特征提取分支网络和平移特征提取分支网络中的多层卷积块之间设置有点特征交互模块；
所述点特征交互模块内设置两路依次连接的最大值池化层和向量拼接层；一个所述点特征交互模块中的最大值池化层还分别与另一歌特征交互模块中的向量拼接层连接；
所述旋转特征提取分支网络和平移特征提取分支网络的输出端分别对应与旋转参数回归网络和平移参数回归网络连接；
所述旋转参数回归网络和平移参数回归网络都设置全局特征交互模块；
所述旋转参数回归网络中还设置有旋转回归网络，所述平移参数回归网络中还设置有平移回归网络。
2.一种基于双分支特征交互的3D点云配准方法，其特征在于，包括以下步骤：
步骤1：将源点云X和目标点云Y都分别输入到旋转特征提取分支网络和平移特征提取分支网络中；通过旋转特征提取分支网络提取得到源点云X的旋转全局特征
Figure FDA0003164711720000011
和目标点云Y的旋转全局特征
Figure FDA0003164711720000012
通过平移特征提取分支网络提取得到源点云X的平移全局特征
Figure FDA0003164711720000013
和目标点云的平移全局特征
Figure FDA0003164711720000014
步骤2：将得到旋转全局特征
Figure FDA0003164711720000015
旋转全局特征
Figure FDA0003164711720000016
输入到旋转参数回归网络中，将平移全局特征
Figure FDA0003164711720000017
和平移全局特征
Figure FDA0003164711720000018
输入到平移参数回归网络中；
步骤3：在旋转参数回归网络的全局特征交互模块中，将输入的旋转全局特征
Figure FDA0003164711720000019
旋转全局特征
Figure FDA00031647117200000110
进行交互融合，分别得到源点云X融合后的旋转全局特征和目标点云Y融合后的旋转全局特征，然后通过源点云X融合后的旋转全局特征和目标点云Y融合后的旋转全局特征输入到旋转回归网络中得到表示3D旋转的四元数quat；
在平移参数回归网络的全局特征交互模块中，将输入的平移全局特征
Figure FDA00031647117200000111
和平移全局特征
Figure FDA00031647117200000112
进行交互融合，分别得到源点云X融合后的平移全局特征和目标点云Y融合后的平移全局特征，然后通过平移回归网络得到源点云X和目标点云Y各自的显著性点，然后将两者显著性点之间的差值作为3D平移的平移参数；
步骤4：将得到的四元数quat和平移参数trans作用到源点云X上，得到3D刚体变换后的源点云X，将3D刚体变换后的源点云X送入到下一次迭代的网络中。
3.如权利要求2所述的一种基于双分支特征交互的3D点云配准方法，其特征在于，所述步骤1中，在进行四种全局特征的提取时，通过点特征交互模块对不同级的源点云X的点特征和目标点云Y的点特征进行特征通道维度的拼接操作，然后通过最大值池化层进行最大值池化操作后实现交互融合，得到带有交互融合后的信息的旋转全局特征
Figure FDA0003164711720000021
旋转全局特征
Figure FDA0003164711720000022
平移全局特征
Figure FDA0003164711720000023
和平移全局特征
Figure FDA0003164711720000024
4.如权利要求3所述的一种基于双分支特征交互的3D点云配准方法，其特征在于，在步骤1-4的操作过程中，采用3D刚体变换敏感度损失函数、点特征丢弃损失函数和3D刚体变换回归损失函数的结合作为整个网络的损失函数进行训练，具体为，为每一次迭代过程中的3D刚体变换敏感度损失函数设置加权系数β，为点特征丢弃损失函数设置加权系数γ，为3D刚体变换回归损失函数设置加权系数为1，将三种损失函数乘以加权系数后的值相加作为单次迭代的单次损失函数，然后将多次迭代得到的单次损失函数求和取平均得到当前迭代的总损失函数。
5.如权利要求4所述的一种基于双分支特征交互的3D点云配准方法，其特征在于，所述3D刚体变换回归损失函数包括四元数回归损失函数和平移距离回归损失函数，为平移距离回归损失函数设定系数λ，将乘以系数λ后的平移距离回归损失函数和四元数回归损失函数相加得到3D刚体变换回归损失函数。
6.如权利要求4所述的一种基于双分支特征交互的3D点云配准方法，其特征在于，在所述双分支特征提取网络进行特征提取时，首先提取得到N个点的特征，然后随机丢弃一定比例的特征，只保留k个点的特征，k＜K；然后在经过最大值池化层处理后，使用点特征丢弃损失函数约束丢弃操作前后的特征间的距离；
所述点特征丢弃损失函数包括四项内容，具体为源点云X的旋转全局特征
Figure FDA0003164711720000025
的损失和平移全局特征
Figure FDA0003164711720000026
的损失，以及目标点云Y的平移全局特征
Figure FDA0003164711720000027
的损失和旋转全局特征
Figure FDA0003164711720000028
的损失。
7.如权利要求4所述的一种基于双分支特征交互的3D点云配准方法，其特征在于，所述3D刚体变换敏感度损失函数为约束旋转全局特征和平移全局特征的损失函数和整体损失函数的结合，约束旋转全局特征和平移全局特征的损失函数的表现形式为tripletloss损失函数。
CN202110800809.2A 2021-07-15 2021-07-15 一种基于双分支特征交互的3d点云配准网络模型及配准方法 Pending CN113538535A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110800809.2A CN113538535A (zh) 2021-07-15 2021-07-15 一种基于双分支特征交互的3d点云配准网络模型及配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110800809.2A CN113538535A (zh) 2021-07-15 2021-07-15 一种基于双分支特征交互的3d点云配准网络模型及配准方法

Publications (1)

Publication Number Publication Date
CN113538535A true CN113538535A (zh) 2021-10-22

Family

ID=78099472

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110800809.2A Pending CN113538535A (zh) 2021-07-15 2021-07-15 一种基于双分支特征交互的3d点云配准网络模型及配准方法

Country Status (1)

Country Link
CN (1) CN113538535A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113989340A (zh) * 2021-10-29 2022-01-28 天津大学 一种基于分布的点云配准方法
CN114004871A (zh) * 2022-01-04 2022-02-01 山东大学 一种基于点云补全的点云配准方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190073744A1 (en) * 2017-09-01 2019-03-07 Tata Consultancy Services Limited Systems and methods for shape constrained 3d point cloud registration
CN109741374A (zh) * 2019-01-30 2019-05-10 重庆大学 点云配准旋转变换方法、点云配准方法、设备及可读存储介质
US20200058156A1 (en) * 2018-08-17 2020-02-20 Nec Laboratories America, Inc. Dense three-dimensional correspondence estimation with multi-level metric learning and hierarchical matching
CN112581515A (zh) * 2020-11-13 2021-03-30 上海交通大学 基于图神经网络的户外场景点云配准方法
CN112991407A (zh) * 2021-04-02 2021-06-18 浙江大学计算机创新技术研究院 一种基于非局部操作的点云配准方法
CN113077501A (zh) * 2021-04-02 2021-07-06 浙江大学计算机创新技术研究院 一种基于特征学习的端到端点云配准方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190073744A1 (en) * 2017-09-01 2019-03-07 Tata Consultancy Services Limited Systems and methods for shape constrained 3d point cloud registration
US20200058156A1 (en) * 2018-08-17 2020-02-20 Nec Laboratories America, Inc. Dense three-dimensional correspondence estimation with multi-level metric learning and hierarchical matching
CN109741374A (zh) * 2019-01-30 2019-05-10 重庆大学 点云配准旋转变换方法、点云配准方法、设备及可读存储介质
CN112581515A (zh) * 2020-11-13 2021-03-30 上海交通大学 基于图神经网络的户外场景点云配准方法
CN112991407A (zh) * 2021-04-02 2021-06-18 浙江大学计算机创新技术研究院 一种基于非局部操作的点云配准方法
CN113077501A (zh) * 2021-04-02 2021-07-06 浙江大学计算机创新技术研究院 一种基于特征学习的端到端点云配准方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HAO XU 等: "FINet: Dual Branches Feature Interaction for Partial-to-Partial Point Cloud Registration" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113989340A (zh) * 2021-10-29 2022-01-28 天津大学 一种基于分布的点云配准方法
CN114004871A (zh) * 2022-01-04 2022-02-01 山东大学 一种基于点云补全的点云配准方法及系统

Similar Documents

Publication Publication Date Title
Poursaeed et al. Deep fundamental matrix estimation without correspondences
Penate-Sanchez et al. Exhaustive linearization for robust camera pose and focal length estimation
CN114863573B (zh) 一种基于单目rgb-d图像的类别级6d姿态估计方法
CN108171249B (zh) 一种基于rgbd数据的局部描述子学习方法
CN112200057B (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN113538535A (zh) 一种基于双分支特征交互的3d点云配准网络模型及配准方法
CN113822284B (zh) 一种基于边界注意力的rgbd图像语义分割方法
CN110533724B (zh) 基于深度学习和注意力机制的单目视觉里程计的计算方法
CN110059597B (zh) 基于深度相机的场景识别方法
Germain et al. Neural reprojection error: Merging feature learning and camera pose estimation
CN110119768B (zh) 用于车辆定位的视觉信息融合系统及方法
Kang et al. Robust multi-view L2 triangulation via optimal inlier selection and 3D structure refinement
CN111027140A (zh) 基于多视角点云数据的飞机标准件模型快速重构方法
CN112767467A (zh) 一种基于自监督深度学习的双图深度估计方法
CN112364747A (zh) 一种有限样本下的目标检测方法
CN109857895B (zh) 基于多环路视图卷积神经网络的立体视觉检索方法与系统
CN117252928B (zh) 用于电子产品模块化智能组装的视觉图像定位系统
CN114663880A (zh) 基于多层级跨模态自注意力机制的三维目标检测方法
CN114119690A (zh) 一种基于神经网络重建高斯混合模型的点云配准方法
CN113888629A (zh) 一种基于rgbd相机的快速物体三维位姿估计方法
CN112561807B (zh) 一种基于卷积神经网络的端到端径向畸变校正方法
CN117351078A (zh) 基于形状先验的目标尺寸与6d姿态估计方法
CN112669452A (zh) 一种基于卷积神经网络多分支结构的物体定位方法
CN115496859A (zh) 基于散乱点云交叉注意学习的三维场景运动趋势估计方法
Lo et al. Depth estimation based on a single close-up image with volumetric annotations in the wild: A pilot study

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20211022