CN114937066A - 基于交叉偏移特征与空间一致性的点云配准系统及方法 - Google Patents

基于交叉偏移特征与空间一致性的点云配准系统及方法 Download PDF

Info

Publication number
CN114937066A
CN114937066A CN202210648452.5A CN202210648452A CN114937066A CN 114937066 A CN114937066 A CN 114937066A CN 202210648452 A CN202210648452 A CN 202210648452A CN 114937066 A CN114937066 A CN 114937066A
Authority
CN
China
Prior art keywords
point cloud
point
matrix
feature
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210648452.5A
Other languages
English (en)
Inventor
王勇
赵丽娜
陈瑜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Technology
Original Assignee
Chongqing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Technology filed Critical Chongqing University of Technology
Priority to CN202210648452.5A priority Critical patent/CN114937066A/zh
Publication of CN114937066A publication Critical patent/CN114937066A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于交叉偏移特征与空间一致性的点云配准系统及方法，涉及点云配准技术领域。本系统为网络架构，由特征提取模块、关键点筛选模块、匹配模块以及置信度估计模块组成，网络架构中令P和Q分别代表源点云和目标点云送入配准网络获得最终的旋转矩阵与平移向量；特征提取模块通过共享的图特征提取网络，提取源点云与目标点云的特征描述符。本发明通过一系列的改进，解决了在海量含有噪音的点中选取最具代表的点对以及生成具有强大表征能力的特征描述子的问题；通过偏移注意力机制，让两片点云交叉学习对方的关键信息，完成关键点的筛选的同时为后续的匹配任务提供初始点对信息。

Description

基于交叉偏移特征与空间一致性的点云配准系统及方法
技术领域
本发明属于点云配准技术领域，特别是涉及一种基于交叉偏移特征与空间一致性的点云配准系统及方法。
背景技术
随着激光雷达、立体相机和结构光等传感器的发展，极大地便利了点云数据的获取，点云配准在计算机视觉和机器人领域也引起了广泛关注；点云配准的目标在于源点云与目标点云中的刚性变换关系，即通过求解旋转矩阵和平衡矢量使得源点云与目标点云对齐；传统方法上，基于优化的框架针对点云之间的对应关系和变换以迭代的方式估计，最后根据得到的匹配点对计算输出最优变换矩阵，其中被广泛应用的是ICP(迭代最近点算法)；基于深度学习的方法上，分为点对相关与点对无关的配准，点对无关配准是根据两片点云的全局特征间的差异直接回归出刚性变换参数；点对相关配准则是获得特征点局部描述子后，根据两片点云描述子相似程度建立初步的对应关系，并利用几何约束剔除误匹配，以最终的匹配子集计算得到变换参数，其中最具代表的是端到端的拼接网络DeepVCP；目前深度学习中点对相关的配准算法在理论上可以适用于所有情况的点云，包括重复率低的点云，其核心在于特征点的选取与描述；然而，现有的特征点的提取和描述算法尚不具备局部特征处理的能力并忽略了点云内部的线性匹配，此外特征点提取和描述的大规模计算以及计算复杂度也会影响配准算法的实用性；
在目前基于深度学习的点云配准方法中，PointNet能直接在点云上操作并且使用简单的置换不变池化操作，聚合单个点的信息，这种方便的操作使其在点云配准任务中深受喜爱，但该方法容易忽略点云的局部信息；DGCNN构建点云与其领域的连接图，使用图神经网络进行特征提取，并利用相似性卷积衡量点对匹配关系，最终完成配准任务；尽管如此，仍然存在描述能力不足以及难以提供较为可靠的匹配信息的问题；虽然理论上衡量两片点云特征的相似度能得到匹配点对，但是由于场景的干扰以及设备的限制，仍会存在大量误匹配点对；目前基于学习的剔除方法主要是将离群点的剔除作为一个分类任务进行处理，如DGR和3Dreg利用稀疏卷积和逐点MLP对对应关系进行分类，然而它们忽略了点云空间的刚性属性；为此，我们设计了一种基于交叉偏移特征与空间一致性的点云配准系统及方法。
发明内容
本发明的目的在于提供一种基于交叉偏移特征与空间一致性的点云配准系统及方法，以解决上述背景技术中提出的问题。
为解决上述技术问题，本发明是通过以下技术方案实现的：
本发明为一种基于交叉偏移特征与空间一致性的点云配准系统，本系统为网络架构，由特征提取模块、关键点筛选模块、匹配模块以及置信度估计模块组成；
所述网络架构令P和Q分别代表源点云和目标点云送入配准网络获得最终的旋转矩阵与平移向量；
所述特征提取模块通过共享的图特征提取网络，提取源点云与目标点云的特征描述符；
所述关键点筛选模块通过偏移注意力机制挖掘点云的结构信息，并以互补的方式融合不同视角下的点云特征，从而提高精简点的质量；
所述匹配模块通过对关键点进行筛选后对其进行匹配；
所述置信度估计模块用于通过获得初始的匹配点对，并对对初始匹配集进行筛选。
一种基于交叉偏移特征与空间一致性的点云配准方法，用于上述一项，步骤如下：
通过网络构架令源点云为P和目标点云为Q；
通过特征提取模块，得到特征描述子
Figure BDA0003686932940000031
让源点云初始特征FP和目标点云初始特征FQ分别学习对方的结构信息，进而得到源点云学习特征F'P和目标点云学习特征F'Q；
通过对关键点进行筛选，得到关键点源点云p＝{x1,x2,…,xm}和目标点云q＝{y1,y2,…,ym}以及对应的点源点云特征集f'P和目标点云特征集f'Q，并通过点源点云特征集f'P和目标点云特征集f'Q和构件特性描述T(i,j)；
采用二维卷积获取每个点对应的相似性分数，获得最终的相似性矩阵S(i,j)；
对S的每行取最大值获得初始匹配对C，构建长度一致性矩阵βij，
再通过引入初始匹配点对的特征相似矩阵调节兼容性分数，得到特征兼容性矩阵γij；
获得兼容性矩阵Mij；
获得点对之间的有效性分数vi和效性分数的权重wi；
通过对有效性得分按比例加权其余分数，得到目标函数R,t；
通过对两片点云的中心点添加权重参数生成源点云质心
Figure BDA0003686932940000041
与目标点云质心
Figure BDA0003686932940000042
通过位移向量计算得到H矩阵；
通过奇异值分解SVD对H矩阵进行分解，并基于矩阵U和矩阵V得到旋转矩阵R,再由旋转矩阵R计算平移矩阵t；
通过计算得到源点云P和目标点云Q的关键点检测损失函数
Figure BDA0003686932940000043
和
Figure BDA0003686932940000044
匹配损失函数
Figure BDA0003686932940000045
以及置信度估计损失函数
Figure BDA0003686932940000046
并通过对关键点检测损失函数
Figure BDA0003686932940000047
和
Figure BDA0003686932940000048
匹配损失函数
Figure BDA0003686932940000049
以及置信度估计损失函数
Figure BDA00036869329400000410
的求和得到损失函数Loss。
进一步地，所述特征描述子
Figure BDA00036869329400000411
的计算公式为：
Figure BDA00036869329400000412
其中，
Figure BDA00036869329400000413
表示点pi邻域k个点的集合，
Figure BDA00036869329400000414
表示pi在第l层图卷积网络下的特征描述子，h和g表示多层感知机用于特征学习，
Figure BDA00036869329400000415
表示聚合操作取最大值，初始特征
Figure BDA00036869329400000416
为点云的三维坐标值。
进一步地，所述源点云学习特征F'P和目标点云学习特征F'Q的计算公式分别为：
F′P＝Fp+e(FQ)
F′Q＝FQ+e(FP)
其中，e:RN×K→RN×K表示偏移注意力机制，K是两片点云特征维度，F'P和F'Q分别代表源点云与目标点云的学习后的特征。
进一步地，所述特性描述T(i,j)的表达公式
Figure BDA0003686932940000051
其中“；”表示串联解释公式，T(i,j)表示编码两片点云的几何特征以及相对位置的联合信息。
进一步地，所述初始匹配对C的表达式为：
Figure BDA0003686932940000052
所述长度一致性矩阵βij的表达式为：
Figure BDA0003686932940000053
其中β表示基于空间一致性的长度兼容性矩阵，td作为距离参数来控制对长度差的敏感性。
进一步地，所述兼容性矩阵γij的表达式为：
Figure BDA0003686932940000054
其中αij表示初始匹配点对特征相似程度，特征差异越小αij数值越小，tf表示特征参数用来控制对特征差异的敏感性；
所述兼容性矩阵Mij的表达式为：
Mij＝βij*γij
所述点对之间的有效性分数vi和有效性分数的权重wi分别表示为：
vi＝σ(g(Mij))
Figure BDA0003686932940000055
其中σ表示sigmoid函数，g是一个多层感知机目的是根据点对间的兼容性分数学习匹配点对间的有效性分数；
所述目标函数R,t的表达式为：
Figure BDA0003686932940000061
进一步地，所述源点云质心
Figure BDA0003686932940000062
与目标点云质心
Figure BDA0003686932940000063
的表达式分别为：
Figure BDA0003686932940000064
Figure BDA0003686932940000065
所述H矩阵公式如下：
Figure BDA0003686932940000066
所述H矩阵分解公式为：UΣVT＝H；
所述旋转矩阵R的表达式为：R＝VUT；
所述平移矩阵t的表达公式为：
Figure BDA0003686932940000067
进一步地，所述关键点检测损失函数
Figure BDA0003686932940000068
和
Figure BDA0003686932940000069
分别表示为：
Figure BDA00036869329400000610
Figure BDA00036869329400000611
其中，s(i)代表了源点云第i个点的重要性分数，s(j)代表了目标点云第j个点的重要性分数；
所述匹配损失函数
Figure BDA00036869329400000612
的表达式为：
Figure BDA00036869329400000613
Figure BDA0003686932940000071
其中，其中j*是目标点云中对应点的索引，是在转换后最接近源点云的点；r则是一个超参数去控制两个点间有足够小的距离；
所述置信度估计损失函数
Figure BDA0003686932940000072
的表达式为：
Figure BDA0003686932940000073
其中：
Figure BDA0003686932940000074
主要用来监控初始匹配点对的长度一致性矩阵和特征相似性矩阵；
Figure BDA0003686932940000075
通过匹配点对为对应关系的概率作为信号去监督有效性分数，表达式如下：
Figure BDA0003686932940000076
Figure BDA0003686932940000077
本发明具有以下有益效果：
本发明通过一系列的改进，解决了在海量含有噪音的点中选取最具代表的点对以及生成具有强大表征能力的特征描述子的问题；通过偏移注意力机制，让两片点云交叉学习对方的关键信息，完成关键点的筛选的同时为后续的匹配任务提供初始点对信息。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的点云配准网络结构示意图；
图2为本发明的点云的空间一致性示意图；
图3为本发明的点云配准效果图；
图4为本发明的键点筛选示意图；
图5为本发明的误匹配点对剔除示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1-5所示，本发明为一种基于交叉偏移特征与空间一致性的点云配准系统及方法。
实施例一：
本发明为一种基于交叉偏移特征与空间一致性的点云配准系统。
本系统为网络构架，由特征提取模块、关键点筛选模块、匹配模块以及置信度估计模块组成，具体可参考图1；
其中，网络构架令P和Q分别代表源点云和目标点云送入配准网络获得最终的旋转矩阵与平移向量；
其中，特征提取模块通过共享的图特征提取网络，提取源点云与目标点云的特征描述符；
其中，关键点筛选模块通过偏移注意力机制挖掘点云的结构信息，并以互补的方式融合不同视角下的点云特征，从而提高精简点的质量；
其中，匹配模块通过对关键点进行筛选后对其进行匹配；
其中，置信度估计模块用于通过获得初始的匹配点对，并对初始匹配集进行筛选。
实施例二：
一种基于交叉偏移特征与空间一致性的点云配准方法，用于上述实施例一；
1、网络构架
用于令P和Q分别代表源点云和目标点云送入配准网络获得最终的旋转矩阵与平移向量；首先用共享的特征提取网络GNN获得P与Q的初始特征描述符，然后联合两片点云初始的欧式距离特征和几何特征信息特征共同送入交叉特征过滤模块中；该模块通过使用偏移注意力机制使两片点云交叉学习对方特征获得高级语义信息，并通过该信息筛选出关键点及关键点特征描述符；随后关键点及其特征描述符将被送入匹配模块，以一个相似性卷积去评估关键点的相似程度并生成初始匹配点对；接着置信度估计模块将利用匹配点对的特征相似性矩阵并结合点云的空间一致性生成置信度分数用于判断点对匹配关系的正确性，最终通过权重SVD算法获得变换矩阵；
特征提取模块
通过共享的图特征提取网络，提取源点云与目标点云的特征描述符；以源点云P为例，
Figure BDA0003686932940000091
表示点pi邻域k个点的集合，
Figure BDA0003686932940000092
表示pi在第l层图卷积网络下的特征描述子，下一层的特征计算的公式如下：
Figure BDA0003686932940000093
其中h和g表示多层感知机用于特征学习，
Figure BDA0003686932940000094
表示聚合操作取最大值，初始特征
Figure BDA0003686932940000101
为点云的三维坐标值，本发明叠加了五层式，分层提取高级特征，最终特征的输出维度为64
关键点筛选模块
通过注意力机制下的偏移注意力机制挖掘点云的结构信息，并以互补的方式融合不同视角下的点云特征，从而提高精简点的质量；采用串联的方式串接点的欧式距离特征和偏移注意力机制来完成特征的融合，其中欧氏距离是一个度量，即两个点之间的真实距离，欧氏距离特征代表点的几何特征；
然而串接会使特征维度冗长，对精炼子特征集中有益的信息上具有一定的难度；为此，设计一个交叉特征学习模块，使得两片点云能学习对方的结构信息，具体公式如下：
F′P＝Fp+e(FQ)
F′Q＝FQ+e(FP)
令FP和FQ分别代表源点云与目标点云的初始特征描述子，e:RN×K→RN×K表示偏移注意力机制，K是两片点云特征维度，F'P和F'Q分别代表源点云与目标点云的学习后的特征；接着使用一个多层感知机h:e:RN×K→RN×1，获得每个点的重要性分数；分数越高意味着该点具有的特征越明显(如角点)，则越有可能被选为关键点；最终源点云P和目标点云Q将保留M个点进行后续的配准任务，其中M＝N/6。
匹配模块
通过对关键点进行筛选后，可以获得关键点点源点云p＝{x1,x2,…,xm}，目标点云q＝{y1,y2,…,ym}，以及对应的两个特征集
Figure BDA0003686932940000102
Figure BDA0003686932940000103
利用IDAM的匹配策略构建特性描述子，具体公示如下：
Figure BDA0003686932940000111
其中“；”表示串联解释公式，T(i,j)表示编码两片点云的几何特征以及相对位置的联合信息，接着我们采用一系列的1*1的二维卷积去获取每个点对的相似性分数，然后对每行使用Softmax函数(运用的激活函数)去获得最终的相似性矩阵S(i,j)，该矩阵表示了yj与xi间有多大的可能为匹配点对，其中这一系列1*1的卷积通过匹配损失学习他们的权重参数
5、置信度估计模块
获得初始的匹配点对，然而由于部分重叠、数据噪声等问题的干扰，初始匹配点集中往往存在大量的误匹配点对，接下来的重要任务就是从初始匹配集中筛选出高质量的匹配点集，因此本发明基于空间一致性的方法对初始匹配集进行筛选；对S的每行取最大值获得初始匹配对
Figure BDA0003686932940000112
Figure BDA0003686932940000113
构建该子集的兼容性矩阵M；先构建长度一致性矩阵，具体公示如下：
Figure BDA0003686932940000114
其中β表示基于空间一致性的长度兼容性矩阵，本发明使用td作为距离参数来控制对长度差的敏感性，[·]+用来保证兼容性分数是一个大于等于0的数；
但是如图2(a)(A，B)为内联点两者之间的长度符合空间一致性，如图2(b)(D)为离群点，其和任意点之间都不满足长度一致性要求，但是如图2(a)中(C)虽然是离群点，但是(B,C)间满足长度一致性，而(C,D)间又不满足长度一致性，因此往往会存在干扰信息；
由上述可知，当两者都是内联点时将会满足长度一致性，如果是离群点通常不能满足长度一致性，但是当内联点和离群点满足长度一致性时会出现模糊信息；因此，我们引入通过匹配模块中点对匹配得到的相似矩阵得出的初始匹配点对的特征相似矩阵调节兼容性分数，具体公式如下：
Figure BDA0003686932940000121
其中γ表示特征兼容性矩阵，αij表示初始匹配点对特征相似程度，特征差异越小该值越小，tf表示特征参数用来控制对特征差异的敏感性；
获得兼容性矩阵的公式如下：
Mij＝βij*γij
最后根据该兼容性矩阵我们可以获得点对之间的有效性分数，公式如下：
vi＝σ(g(Mij))
其中σ表示sigmoid函数，g是一个多层感知机目的是根据点对间的兼容性分数学习匹配点对间的有效性分数，得到匹配点对间的有效性分数的权重wi；
Figure BDA0003686932940000122
其中1[·]表示指标函数，如果当前点的有效分数小于阈值，那么该点赋予0权重(剔除误匹配点对)，并根据有效性得分按比例加权其余分数，得到如下目标函数：
Figure BDA0003686932940000131
6、变换矩阵估计模块
对于两片部分重叠的点云，点对并不总是一一对应的，可能存在一对多的情况，因此在使用SVD计算刚性变换参数，本发明引入权重分数去评判每个对应关系的置信程度，步骤如下：
(1)分别求两个点云的质心：对于两片点云的中心点，本发明使用权重参数，加权生成源点云与目标点云的质心，具体公式如下：
Figure BDA0003686932940000132
Figure BDA0003686932940000133
(2)获取H矩阵：计算各点相对于质心的位移向量，即为各点与质心的带有方向的距离，并利用该向量计算H矩阵，具体公式如下：
Figure BDA0003686932940000134
(3)利用奇异值分解(Singular Value Decomposition，简称SVD)对H矩阵进行分解，并基于奇异值分解矩阵里的矩阵U和矩阵V得到旋转矩阵R,再由旋转矩阵计算平移矩阵t,具体公式如下：
UΣVT＝H
R＝VUT
Figure BDA0003686932940000135
7.损失函数
损失函数在机器学习任务中是不可缺失的一角，且针对不同的问题应选取不同的损失函数；针对本发明的各个模块，主要由以下三类损失函数构成，分别是两片点云的关键点检测损失函数
Figure BDA0003686932940000136
和
Figure BDA0003686932940000137
匹配损失函数
Figure BDA0003686932940000138
以及置信度估计损失函数
Figure BDA0003686932940000141
具体公式如下：
Figure BDA0003686932940000142
7.1关键点检测损失函数
该损失用于获得两片点云中的关键点，将第i行(j列)概率分布的负熵视为一个对重要性分数的监督信号；如果是关键点，那么在匹配的点对上则具有较大的信心，此时由第i行(j列)定义的概率分布应该具有低熵；反之若非关键点则会具有高熵，具体公式如下：
Figure BDA0003686932940000143
Figure BDA0003686932940000144
其中s(i)代表了源点云第i个点的重要性分数，s(j)代表了目标点云第j个点的重要性分数；此时我们希望交叉特征过滤模块能够基于点云的形状信息学习筛选出关键点对；
7.2匹配损失函数
该损失函数用于监督相似性卷积，该函数是一个标准的交叉熵损失函数，具体公式如下：
Figure BDA0003686932940000145
Figure BDA0003686932940000146
其中j*是目标点云中对应点的索引，该点是在转换后最接近源点云的点；r则是一个超参数去控制两个点间有足够小的距离，只有当xi与
Figure BDA0003686932940000159
的距离在既定的阈值内，匹配点对间的相似性分数才是可信的；
7.3置信度估计损失函数
本小节的函数用于误匹配点对的剔除，该部分主要由
Figure BDA0003686932940000151
和
Figure BDA0003686932940000152
组成，具体公式如下：
Figure BDA0003686932940000153
其中λ＝0.01，
Figure BDA0003686932940000154
主要用来监控初始匹配点对的长度一致性矩阵和特征相似性矩阵；
Figure BDA0003686932940000155
通过匹配点对为对应关系的概率作为信号去监督有效性分数，具体公式如下：
Figure BDA0003686932940000156
Figure BDA0003686932940000157
该损失控制着初始匹配点对的兼容性分数，在训练过程中创建了一个退火时间表；
Figure BDA0003686932940000158
该损失为正确找到其对应关系的点指定正标签1，为不正确找到其对应关系的点指定负标签0；从长远来看，正确匹配概率高的点对将具有更高的有效性分数；
8.实验验证
1.实验结果及分析
本发明利用ModelNet40公共数据集进行训练和测试，对于数据集中给定的形状，随机旋转[0°,45°]且平移[-0.5,0.5]；原始点云作为源点云，变换后的点云作为模板点云；为了生成部分重叠的问题，将固定一个随机点，该点与两片点云都保持最远距离，并为每个点云保留离最远点最近的768个点；同时，本发明采用以下指标进行评估：对于旋转矩阵，以度为单位使用均方根旋转误差(RMSE(R))和平均绝对旋转误差(MAE(R))；对于平移向量，使用均方根平移误差(RMSE(t))和平均绝对平移误差(MAE(t))；本发明与ICP，GO-ICP，FGR，FPFH+RANSAC,PointNetLK，DCP，PRNet以及IDAM进行对比，以下实验证明了本发明方法的性能和效率：
首先，本发明在ModelNet40的训练集上训练模型，并在测试集上进行评估；ModelNet40的训练集和测试集都包含来自所有40个类别的点云；这个实验评估了看不见点云形状时配准的能力；结果如表1所示；
表1 ModelNet40中对不可见形状的点云进行测试
Figure BDA0003686932940000161
Figure BDA0003686932940000171
根据表1可以看到，ICP在配准性能中较差，而我们的方法在均方根下的旋转误差与平移误差都取得了最好的结果，在平均绝对旋转误差和平均平移误差下也仅次于最近的IDAM；
在第二个实验中，本发明使用ModelNet40训练集中的前20个类别进行训练，并在测试集中对其他20个类别进行评估；这个实验测试了对未知类别的点云概括的能力；结果如表2；可以看出，如果没有测试类别方面的训练，所有基于学习的方法表现都会一直较差，相比之下，传统方法没有受到预期的影响；本发明在均方根下的旋转误差与平均误差都取得了最好的结果，而FPFH+IDAM在平均绝对旋转误差和平均平移误差下表现得最为优秀；
表2 ModelNet40中未知类别的点云测试结果
Figure BDA0003686932940000172
Figure BDA0003686932940000181
在第三个实验中，加入了标准偏差为0.01的随机高斯噪声，然后重复第一个实验(看不见的形状)；随机噪声被剪裁为[-0.05,0.05]；如表3所示，传统方法和基于FPFH特征的IDAM的性能都比无噪声情况下差得多，而我们的方法与GNN+IDAM在旋转误差和平移误差上各具优势，但总体来说，在所有对比算法中两个算法具有最好的性能；
表3 带有高斯噪声的ModelNet40中对不可见形状的点云进行测试的结果
Figure BDA0003686932940000182
Figure BDA0003686932940000191
2.可视化效果分析
本发明针对配准任务的贡献进行了可视化，结果如下：
首先本发明在ModelNet40训练集上进行训练，可视化显示的是测试集上的模型结果，具体如图3，第一行和第三行分别展示的是数据集中不同对象的初始位置，第二行和第四行显示的是配准结果；总体来说，本发明的配准取得了较优的效果；
其次，图4展示了从1024个点筛选出的128个关键点的可视化效果；
最后图5对误匹配点对的剔除进行了可视化；进而证明了我们利用置信度分数消除低质量的点对工作的有效性。
9.总结
本发明具体包括以下：
(1)本发明提出了一种鲁棒的点云配准网络，解决了在海量含有噪音的点中选取最具代表的点对以及生成具有强大表征能力的特征描述子的问题。本发明使用偏移注意力机制，让两片点云交叉学习对方的关键信息，完成关键点的筛选的同时为后续的匹配任务提供初始点对信息。此外，由于数据部分重叠，初始匹配集中会存在大量的错误匹配，本发明利用子集中点的空间一致性关系以及特征的相似度构建子集的兼容性矩阵，接着采用学习的方式利用神经网络对每个点的对应关系生成一个权重参数，用来表示当前点对对应关系是否规范。
(2)本发明提出了一个基于偏移注意力机制的交叉特征，让两片点云去学习对方的结构信息，从而过滤出关键点并提供更加稳定的信息解码。
(3)本发明提出了一个基于空间一致性的误匹配点对分类算法，采用学习的方式构建兼容性矩阵，获得点对之间的有效性分数，从而剔除误匹配点对，该方法对噪声和离群点具有鲁棒性。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该本发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (9)

1.一种基于交叉偏移特征与空间一致性的点云配准系统，其特征在于：本系统为网络架构，由特征提取模块、关键点筛选模块、匹配模块以及置信度估计模块组成；
所述网络架构令P和Q分别代表源点云和目标点云送入配准网络获得最终的旋转矩阵与平移向量；
所述特征提取模块通过共享的图特征提取网络，提取源点云与目标点云的特征描述符；
所述关键点筛选模块通过偏移注意力机制挖掘点云的结构信息，并以互补的方式融合不同视角下的点云特征，从而提高精简点的质量；
所述匹配模块通过对关键点进行筛选后对其进行匹配；
所述置信度估计模块用于通过获得初始的匹配点对，并对初始匹配集进行筛选。
2.一种基于交叉偏移特征与空间一致性的点云配准方法，其特征在于，步骤如下：
通过网络构架令源点云为P和目标点云为Q；
通过特征提取模块，得到特征描述子
Figure FDA0003686932930000011
让源点云初始特征FP和目标点云初始特征FQ分别学习对方的结构信息，进而得到源点云学习特征F'P和目标点云学习特征F'Q；
通过对关键点进行筛选，得到关键点源点云p＝{x1,x2,…,xm}和目标点云q＝{y1,y2,…,ym}以及对应的点源点云特征集f'P和目标点云特征集f'Q，并通过点源点云特征集f'P和目标点云特征集f'Q和构件特性描述T(i,j)；
采用二维卷积获取每个点对应的相似性分数，获得最终的相似性矩阵S(i,j)；
对S的每行取最大值获得初始匹配对C，构建长度一致性矩阵βij，
再通过引入初始匹配点对的特征相似矩阵调节兼容性分数，得到特征兼容性矩阵γij；
获得兼容性矩阵Mij；
获得点对之间的有效性分数vi和效性分数的权重wi；
通过对有效性得分按比例加权其余分数，得到目标函数R,t；
通过对两片点云的中心点添加权重参数生成源点云质心
Figure FDA00036869329300000214
与目标点云质心
Figure FDA00036869329300000215
通过位移向量计算得到H矩阵；
通过奇异值分解SVD对H矩阵进行分解，并基于矩阵U和矩阵V得到旋转矩阵R,再由旋转矩阵R计算平移矩阵t；
通过计算得到源点云P和目标点云Q的关键点检测损失函数
Figure FDA0003686932930000022
和
Figure FDA0003686932930000023
匹配损失函数
Figure FDA0003686932930000024
以及置信度估计损失函数
Figure FDA0003686932930000025
并通过对关键点检测损失函数
Figure FDA0003686932930000026
和
Figure FDA0003686932930000027
匹配损失函数
Figure FDA0003686932930000028
以及置信度估计损失函数
Figure FDA0003686932930000029
的求和得到损失函数Loss。
3.根据权利要求2所述的一种基于交叉偏移特征与空间一致性的点云配准方法，其特征在于，所述特征描述子
Figure FDA00036869329300000210
的计算公式为：
Figure FDA0003686932930000021
其中，
Figure FDA00036869329300000211
表示点pi邻域k个点的集合，
Figure FDA00036869329300000212
表示pi在第l层图卷积网络下的特征描述子，h和g表示多层感知机用于特征学习，
Figure FDA00036869329300000213
表示聚合操作取最大值，初始特征
Figure FDA0003686932930000033
为点云的三维坐标值。
4.根据权利要求2所述的一种基于交叉偏移特征与空间一致性的点云配准方法，其特征在于，所述源点云学习特征F'P和目标点云学习特征F'Q的计算公式分别为：
F′P＝Fp+e(FQ)
F′Q＝FQ+e(FP)
其中，e:RN×K→RN×K表示偏移注意力机制，K是两片点云特征维度，F'P和F'Q分别代表源点云与目标点云的学习后的特征。
5.根据权利要求2所述的一种基于交叉偏移特征与空间一致性的点云配准方法，其特征在于，所述特性描述T(i,j)的表达公式
Figure FDA0003686932930000031
其中“；”表示串联解释公式，T(i,j)表示编码两片点云的几何特征以及相对位置的联合信息。
6.根据权利要求2所述的一种基于交叉偏移特征与空间一致性的点云配准方法，其特征在于，所述初始匹配对C的表达式为：
Figure FDA0003686932930000034
所述长度一致性矩阵βij的表达式为：
Figure FDA0003686932930000032
其中β表示基于空间一致性的长度兼容性矩阵，td作为距离参数来控制对长度差的敏感性。
7.根据权利要求6所述的一种基于交叉偏移特征与空间一致性的点云配准方法，其特征在于，所述兼容性矩阵γij的表达式为：
Figure FDA0003686932930000041
其中αij表示初始匹配点对特征相似程度，特征差异越小αij数值越小，tf表示特征参数用来控制对特征差异的敏感性；
所述兼容性矩阵Mij的表达式为：
Mij＝βij*γij
所述点对之间的有效性分数vi和有效性分数的权重wi分别表示为：
vi＝σ(g(Mij))
Figure FDA0003686932930000042
其中σ表示sigmoid函数，g是一个多层感知机目的是根据点对间的兼容性分数学习匹配点对间的有效性分数；
所述目标函数R,t的表达式为：
Figure FDA0003686932930000043
8.根据权利要求2所述的一种基于交叉偏移特征与空间一致性的点云配准方法，其特征在于，所述源点云质心
Figure FDA0003686932930000048
与目标点云质心
Figure FDA0003686932930000047
的表达式分别为：
Figure FDA0003686932930000044
Figure FDA0003686932930000045
所述H矩阵公式如下：
Figure FDA0003686932930000046
所述H矩阵分解公式为：UΣVT＝H；
所述旋转矩阵R的表达式为：R＝VUT；
所述平移矩阵t的表达公式为：
Figure FDA0003686932930000051
9.根据权利要求2所述的一种基于交叉偏移特征与空间一致性的点云配准方法，其特征在于，所述关键点检测损失函数
Figure FDA0003686932930000052
和
Figure FDA0003686932930000053
分别表示为：
Figure FDA0003686932930000054
Figure FDA0003686932930000055
其中，s(i)代表了源点云第i个点的重要性分数，s(j)代表了目标点云第j个点的重要性分数；
所述匹配损失函数
Figure FDA0003686932930000059
的表达式为：
Figure FDA0003686932930000056
Figure FDA0003686932930000057
其中，其中j*是目标点云中对应点的索引，是在转换后最接近源点云的点；r则是一个超参数去控制两个点间有足够小的距离；
所述置信度估计损失函数
Figure FDA00036869329300000510
的表达式为：
Figure FDA0003686932930000058
其中：
Figure FDA00036869329300000511
主要用来监控初始匹配点对的长度一致性矩阵和特征相似性矩阵；
Figure FDA00036869329300000512
通过匹配点对为对应关系的概率作为信号去监督有效性分数，表达式如下：
Figure FDA0003686932930000061
Figure FDA0003686932930000062
CN202210648452.5A 2022-06-09 2022-06-09 基于交叉偏移特征与空间一致性的点云配准系统及方法 Pending CN114937066A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210648452.5A CN114937066A (zh) 2022-06-09 2022-06-09 基于交叉偏移特征与空间一致性的点云配准系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210648452.5A CN114937066A (zh) 2022-06-09 2022-06-09 基于交叉偏移特征与空间一致性的点云配准系统及方法

Publications (1)

Publication Number Publication Date
CN114937066A true CN114937066A (zh) 2022-08-23

Family

ID=82866231

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210648452.5A Pending CN114937066A (zh) 2022-06-09 2022-06-09 基于交叉偏移特征与空间一致性的点云配准系统及方法

Country Status (1)

Country Link
CN (1) CN114937066A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116188543A (zh) * 2022-12-27 2023-05-30 中国人民解放军61363部队 基于深度学习无监督的点云配准方法及系统
CN116299170A (zh) * 2023-02-23 2023-06-23 中国人民解放军军事科学院系统工程研究院 一种基于深度学习的多目标无源定位方法、系统、介质
CN116363178A (zh) * 2023-02-27 2023-06-30 西安电子科技大学 针对点云特征的多任务优化方法
CN116523982A (zh) * 2023-05-12 2023-08-01 北京长木谷医疗科技股份有限公司 基于相似度兼容性度量的稀疏点云配准方法及装置
CN117495932A (zh) * 2023-12-25 2024-02-02 国网山东省电力公司滨州供电公司 一种电力设备异源点云配准方法及系统
WO2024103846A1 (zh) * 2023-07-03 2024-05-23 西北工业大学 一种基于多域多维特征图的三维配准重建方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116188543A (zh) * 2022-12-27 2023-05-30 中国人民解放军61363部队 基于深度学习无监督的点云配准方法及系统
CN116188543B (zh) * 2022-12-27 2024-03-12 中国人民解放军61363部队 基于深度学习无监督的点云配准方法及系统
CN116299170A (zh) * 2023-02-23 2023-06-23 中国人民解放军军事科学院系统工程研究院 一种基于深度学习的多目标无源定位方法、系统、介质
CN116299170B (zh) * 2023-02-23 2023-09-01 中国人民解放军军事科学院系统工程研究院 一种基于深度学习的多目标无源定位方法、系统、介质
CN116363178A (zh) * 2023-02-27 2023-06-30 西安电子科技大学 针对点云特征的多任务优化方法
CN116363178B (zh) * 2023-02-27 2024-01-30 西安电子科技大学 针对点云特征的多任务优化方法
CN116523982A (zh) * 2023-05-12 2023-08-01 北京长木谷医疗科技股份有限公司 基于相似度兼容性度量的稀疏点云配准方法及装置
CN116523982B (zh) * 2023-05-12 2024-05-03 北京长木谷医疗科技股份有限公司 基于相似度兼容性度量的稀疏点云配准方法及装置
WO2024103846A1 (zh) * 2023-07-03 2024-05-23 西北工业大学 一种基于多域多维特征图的三维配准重建方法
CN117495932A (zh) * 2023-12-25 2024-02-02 国网山东省电力公司滨州供电公司 一种电力设备异源点云配准方法及系统
CN117495932B (zh) * 2023-12-25 2024-04-16 国网山东省电力公司滨州供电公司 一种电力设备异源点云配准方法及系统

Similar Documents

Publication Publication Date Title
CN114937066A (zh) 基于交叉偏移特征与空间一致性的点云配准系统及方法
Feng et al. A review and comparative study on probabilistic object detection in autonomous driving
US10733755B2 (en) Learning geometric differentials for matching 3D models to objects in a 2D image
CN111709409B (zh) 人脸活体检测方法、装置、设备及介质
CN111476181B (zh) 一种人体骨架动作的识别方法
Li et al. Deep supervision with intermediate concepts
CN112036276B (zh) 一种人工智能视频问答方法
CN104200237A (zh) 一种基于核化相关滤波高速自动多目标跟踪方法
KR20200121206A (ko) 심층 네트워크와 랜덤 포레스트가 결합된 앙상블 분류기의 경량화를 위한 교사-학생 프레임워크 및 이를 기반으로 하는 분류 방법
Fang et al. Traffic accident detection via self-supervised consistency learning in driving scenarios
CN115661246A (zh) 一种基于自监督学习的姿态估计方法
CN110111365B (zh) 基于深度学习的训练方法和装置以及目标跟踪方法和装置
CN105894008A (zh) 结合特征点匹配及深度神经网络检测的目标运动跟踪方法
Ding et al. Machine learning model for feature recognition of sports competition based on improved TLD algorithm
Feng Mask RCNN-based single shot multibox detector for gesture recognition in physical education
CN114492634A (zh) 一种细粒度装备图片分类识别方法及系统
US20230070439A1 (en) Managing occlusion in siamese tracking using structured dropouts
Xin et al. Random part localization model for fine grained image classification
CN117115555A (zh) 一种基于噪声数据的半监督三维目标检测方法
KR20200123507A (ko) 교사-학생 프레임워크 기반의 소프트 타겟 학습방법을 이용한 보행자 포즈 방향 추정 방법 및 시스템
Yan et al. CAINNFlow: Convolutional block attention modules and invertible neural networks flow for anomaly detection and localization tasks
Li et al. Detection and discrimination of obstacles to vehicle environment under convolutional neural networks
Behera et al. PIDLNet: A physics-induced deep learning network for characterization of crowd videos
Du The computer vision simulation of athlete’s wrong actions recognition model based on artificial intelligence
CN113724325A (zh) 一种基于图卷积网络的多场景单目相机位姿回归方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination