CN115272433B - 用于无人机自动避障的轻量点云配准方法及系统 - Google Patents
用于无人机自动避障的轻量点云配准方法及系统 Download PDFInfo
- Publication number
- CN115272433B CN115272433B CN202211167883.6A CN202211167883A CN115272433B CN 115272433 B CN115272433 B CN 115272433B CN 202211167883 A CN202211167883 A CN 202211167883A CN 115272433 B CN115272433 B CN 115272433B
- Authority
- CN
- China
- Prior art keywords
- matching
- node
- point cloud
- registered
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000004927 fusion Effects 0.000 claims abstract description 34
- 230000009466 transformation Effects 0.000 claims abstract description 31
- 238000005070 sampling Methods 0.000 claims abstract description 17
- 239000011159 matrix material Substances 0.000 claims description 46
- 238000004891 communication Methods 0.000 claims description 16
- 238000013519 translation Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 8
- 101100481876 Danio rerio pbk gene Proteins 0.000 claims description 4
- 101100481878 Mus musculus Pbk gene Proteins 0.000 claims description 4
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种用于无人机自动避障的轻量点云配准方法及系统,其方法包括:对两个待配准点云进行均匀下采样对应获取两个节点集,提取两个节点集的节点特征;根据两个节点特征,建立两个待配准点云之间的初始匹配关系,获取特征增强更新后的两个节点特征,及每个初始匹配关系的匹配置信度;根据每个初始匹配关系的匹配置信度,选取满足预设条件的初始匹配关系,并获取两个虚拟匹配参考点;根据融合更新后的两个节点特征,建立待配准的子点云之间的最终匹配关系,获取最终点匹配关系集合;并获取两个待配准点云之间的最优刚性变换参数。因此通过获取两个待配准点云之间的最优刚性变换参数,能补偿两个待配准点云的三维空间位置差异。
Description
技术领域
本发明涉及计算机视觉技术领域,具体是涉及一种用于无人机自动避障的轻量点云配准方法及系统。
背景技术
点云配准技术旨在预测两个场景重叠的点云之间的刚性变换关系以对齐两部分点云。无人机自主飞行需要感知周围环境以及自身位置,机载点云配准算法能够为无人机提供三维场景感知与理解能力,为无人机实现自主避障提供技术支撑。近年来,随着深度学习技术的不断发展,一类基于卷积神经网络(Convolutional neural network,CNN)的方法被广泛应用在点云配准任务上。这类方法的核心思路是利用卷积神经网络代替传统的特征描述子以建立三维点的对应关系,并利用这些对应关系求解最优变换矩阵作为最终的刚性变换关系。
尽管近年来基于深度学习的三维特征表达取得了长足的进展,除了利用卷积神经网络学习局部特征描述,一些方法尝试引入图神经网络结构增强特征表达能力以建立三维点对应关系。然而,应用这种方法在点云配准任务上时存在如下问题:位置编码是图神经网络结构的重要组成部分,点云配准是二实例任务,即需要分别描述两部分点云的特征并建立对应关系。然而待配准的点云处于不相关的不同参考系下,需要精心设计位置编码方式以补偿两部分点云三维空间位置差异。
发明内容
本发明的目的是为了克服上述背景技术的不足,提供一种用于无人机自动避障的轻量点云配准方法及系统,通过获取两个待配准点云之间的最优刚性变换参数,能补偿两个待配准点云的三维空间位置差异,来对齐源点云与目标点云。
第一方面,提供一种用于无人机自动避障的轻量点云配准方法,包括以下步骤:
对两个待配准点云进行均匀下采样对应获取两个节点集,提取两个节点集的节点特征,并将两个待配准点云分别划分为多个子点云;
根据两个节点特征,建立两个待配准点云之间的初始匹配关系,获取特征增强更新后的两个节点特征,及每个初始匹配关系的匹配置信度;
根据每个初始匹配关系的匹配置信度,选取满足预设条件的初始匹配关系,并获取两个虚拟匹配参考点;
根据所述满足预设条件的初始匹配关系,更新两个虚拟匹配参考点之间的空间相对位置;
通过更新后的两个虚拟匹配参考点对两个待配准点云进行归一化处理,将归一化处理后的两个待配准点云分别对应与特征增强更新后的两个节点特征进行融合更新;
根据融合更新后的两个节点特征,建立待配准的子点云之间的最终匹配关系,并根据所述最终匹配关系获取最终点匹配关系集合;
根据所述最终点匹配关系集合,获取两个待配准点云之间的最优刚性变换参数。
根据第一方面,在第一方面的第一种可能的实现方式中,所述对两个待配准点云进行均匀下采样对应获取两个节点集,提取两个节点集的节点特征,并将两个待配准点云划分为多个子点云步骤,包括以下步骤:
待配准点云包括源点云与目标点云;
对源点云与目标点云分别进行均匀下采样对应获取源点云节点集与目标点云节点集,提取所述源点云节点集与所述目标点云节点集对应的源点云节点特征与目标点云节点特征;
将所述源点云与所述目标点云对应划分为多个源点云子点云与多个目标点云子点云。
根据第一方面的第二种可能的实现方式,在第一方面的第三种可能的实现方式中,所述根据两个节点特征,建立两个待配准点云之间的初始匹配关系,获取特征增强更新后的两个节点特征,及每个初始匹配关系的匹配置信度步骤,包括以下步骤:
式中,源点云,源点云节点特征,源点云节
点集;目标点云,目标点云节点特征,目
标点云节点集;为源点云节点集数量;为目标点云节点集数量;为节点特
征维度;、、为不同类可学习矩阵;;R为实数集;T为矩
阵转置;
根据第一方面的第三种可能的实现方式,在第一方面的第四种可能的实现方式中,所述根据每个初始匹配关系的匹配置信度,选取满足预设条件的初始匹配关系,并获取两个虚拟匹配参考点步骤,包括以下步骤:
根据每个初始匹配关系的匹配置信度,选取匹配置信度的数值最高的预设数量初始匹配关系;
获取预设数量初始匹配关系对应的节点空间坐标,对所有节点空间坐标计算节点空间坐标均值,所述节点空间坐标均值为两个虚拟匹配参考点。
根据第一方面的第四种可能的实现方式,在第一方面的第五种可能的实现方式中,所述根据所述满足预设条件的初始匹配关系,更新两个虚拟匹配参考点之间的空间相对位置步骤,包括以下步骤:
根据第一方面的第五种可能的实现方式,在第一方面的第六种可能的实现方式中,所述通过更新后的两个虚拟匹配参考点对两个待配准点云进行归一化处理,将归一化处理后的两个待配准点云分别对应与特征增强更新后的两个节点特征进行融合更新步骤,包括以下步骤:
将两个几何位置特征分别对应与特征增强更新后的两个节点特征进行融合更新:
根据第一方面的第六种可能的实现方式,在第一方面的第七种可能的实现方式中,所述根据融合更新后的两个节点特征,建立待配准的子点云之间的最终匹配关系,并根据所述最终匹配关系获取最终点匹配关系集合步骤,包括以下步骤:
根据所述最近邻匹配概率,选取最近邻匹配概率的数值最高的预设数量初始匹配关系为待配准的子点云之间的最终匹配关系;
根据最终点匹配关系的匹配置信度,基于互topk算法,获取子点云匹配对中的最终点匹配关系集合;
根据第一方面的第七种可能的实现方式,在第一方面的第八种可能的实现方式中,所述根据所述最终点匹配关系集合,获取两个待配准点云之间的最优刚性变换参数步骤,包括以下步骤:
根据所述最终点匹配关系集合,获取使点云目标函数取最小值的初始旋转矩阵和初始平移矩阵,及最终点匹配关系集合的平均距离;
当最终点匹配关系集合的平均距离大于预设距离,则基于RANSAC算法对初始旋转矩阵和初始平移矩阵进行迭代,获取的最优旋转矩阵和平移矩阵为最优刚性变换参数。
根据第一方面的第八种可能的实现方式,在第一方面的第九种可能的实现方式中,所述通过更新后的两个虚拟匹配参考点对两个待配准点云进行归一化处理,将归一化处理后的两个待配准点云分别对应与特征增强更新后的两个节点特征进行融合更新步骤之后,包括以下步骤:
将融合更新的两个节点特征再次重复进行特征增强更新、直至再次完成融合更新步骤。
第二方面,提供一种用于无人机自动避障的轻量点云配准系统,包括:
采样提取划分模块,用于对两个待配准点云进行均匀下采样对应获取两个节点集,提取两个节点集的节点特征,并将两个待配准点云分别划分为多个子点云;
特征增强更新模块,与所述采样提取划分模块通信连接,用于根据两个节点特征,建立两个待配准点云之间的初始匹配关系,获取特征增强更新后的两个节点特征,及每个初始匹配关系的匹配置信度;
虚拟匹配参考点获取模块,与所述特征增强更新模块通信连接,用于根据每个初始匹配关系的匹配置信度,选取满足预设条件的初始匹配关系,并获取两个虚拟匹配参考点;
位置更新模块,与虚拟匹配参考点获取模块通信连接,根据所述满足预设条件的初始匹配关系,更新两个虚拟匹配参考点之间的空间相对位置;
融合更新模块,与所述位置更新模块、所述采样提取划分模块及所述特征增强更新模块通信连接,用于通过更新后的两个虚拟匹配参考点对两个待配准点云进行归一化处理,将归一化处理后的两个待配准点云分别对应与特征增强更新后的两个节点特征进行融合更新;
最终匹配关系模块,与所述融合更新模块通信连接,用于根据融合更新后的两个节点特征,建立待配准的子点云之间的最终匹配关系,并根据所述最终匹配关系获取最终点匹配关系集合;以及,
最优刚性变换参数模块,与所述最终匹配关系模块通信连接,根据所述最终点匹配关系集合,获取两个待配准点云之间的最优刚性变换参数。
与现有技术相比,本发明通过获取两个待配准点云之间的最优刚性变换参数,能补偿两个待配准点云的三维空间位置差异,来对齐源点云与目标点云。
附图说明
图1是本发明一实施例提供的一种用于无人机自动避障的轻量点云配准方法的流程示意图;
图2是本发明一实施例提供的一种用于无人机自动避障的轻量点云配准系统的结构示意图。
附图说明:
100、用于无人机自动避障的轻量点云配准系统;110、采样提取划分模块;120、特征增强更新模块;130、虚拟匹配参考点获取模块;140、位置更新模块;150、融合更新模块;160、最终匹配关系模块;170、最优刚性变换参数模块。
具体实施方式
现在将详细参照本发明的具体实施例,在附图中例示了本发明的例子。尽管将结合具体实施例描述本发明,但将理解,不是想要将本发明限于所述的实施例。相反,想要覆盖由所附权利要求限定的在本发明的精神和范围内包括的变更、修改和等价物。应注意,这里描述的方法步骤都可以由任何功能块或功能布置来实现,且任何功能块或功能布置可被实现为物理实体或逻辑实体、或者两者的组合。
为了使本领域技术人员更好地理解本发明,下面结合附图和具体实施方式对本发明作进一步详细说明。
注意:接下来要介绍的示例仅是一个具体的例子,而不作为限制本发明的实施例必须为如下具体的步骤、数值、条件、数据、顺序等等。本领域技术人员可以通过阅读本说明书来运用本发明的构思来构造本说明书中未提到的更多实施例。
参见图1所示,本发明实施例提供一种用于无人机自动避障的轻量点云配准方法,包括以下步骤:
S100,对两个待配准点云进行均匀下采样对应获取两个节点集,提取两个节点集的节点特征,并将两个待配准点云分别划分为多个子点云;
S200,根据两个节点特征,建立两个待配准点云之间的初始匹配关系,获取特征增强更新后的两个节点特征,及每个初始匹配关系的匹配置信度;
S300,根据每个初始匹配关系的匹配置信度,选取满足预设条件的初始匹配关系,并获取两个虚拟匹配参考点;
S400,根据所述满足预设条件的初始匹配关系,更新两个虚拟匹配参考点之间的空间相对位置;
S500,通过更新后的两个虚拟匹配参考点对两个待配准点云进行归一化处理,将归一化处理后的两个待配准点云分别对应与特征增强更新后的两个节点特征进行融合更新;
S600,根据融合更新后的两个节点特征,建立待配准的子点云之间的最终匹配关系,并根据所述最终匹配关系获取最终点匹配关系集合;
S700,根据所述最终点匹配关系集合,获取两个待配准点云之间的最优刚性变换参数。
具体的,本实施例中,由于待配准的点云处于不相关的不同参考系下,本发明通过获取两个待配准点云之间的最优刚性变换参数,能补偿两个待配准点云的三维空间位置差异,来对齐源点云与目标点云。
同时,由于模型复杂度较高且推理速度较慢,难以用于实际应用,如无人机自动避障场景,因此本发明在机载硬件资源受限的情况下,可实现算法性能与实时性要求的有效平衡。
优选地,在本申请另外的实施例中,所述S100,对两个待配准点云进行均匀下采样对应获取两个节点集,提取两个节点集的节点特征,并将两个待配准点云划分为多个子点云步骤,包括以下步骤:
待配准点云包括源点云与目标点云;
对源点云与目标点云分别进行均匀下采样对应获取源点云节点集与目标点云节点集,提取所述源点云节点集与所述目标点云节点集对应的源点云节点特征与目标点云节点特征;
将所述源点云与所述目标点云对应划分为多个源点云子点云与多个目标点云子点云。
具体的,本实施例中,使用KPConv特征提取网络分别对源点云、目标点云进行均匀下采样为源点云
节点集和目标点云节点集,并提取源点云节点特征,源点
云节点集。再分别在源点云、目标点云内部,把任一点分配至节点集中空间距离
最近节点构成局部子点云,在所有点完成分配后,即把源点云、目标点云划分为多个子点
云;
源点云和目标点云为待配准的点云对,点云之间有部分场景重叠;通过采取由粗到精的匹配策略,即先在粗尺度上确定子点云之间的匹配关系,再对每一个子点云匹配对,细化得到该子点云匹配对内部的点匹配关系。因此,需要对两部分点云分别进行划分,划分为多个子点云。
优选地,在本申请另外的实施例中,所述S200,根据两个节点特征,建立两个待配准点云之间的初始匹配关系,获取特征增强更新后的两个节点特征,及每个初始匹配关系的匹配置信度步骤,包括以下步骤:
式中,源点云,源点云节点特征,源点云节
点集;目标点云,目标点云节点特征,目
标点云节点集;为源点云节点集数量;为目标点云节点集数量;为节点特
征维度;、、为不同类可学习矩阵;;R为实数集;T为矩
阵转置;
具体的,本实施例中,节点特征在经过交叉注意力模块进行特征增强后,可输入到自注意力模块以聚合上下文信息。自注意力模块的工作原理与交叉注意力模块类似;只是在源点云或者目标点云内部工作,以源点云为例,输入到自注意力模块的节点特征为和;计算相应的查询、键、值向量,并更新节点特征。
利用可微的最优传输建立子点云之间的匹配关系。首先计算节点特征和之间的相
似度矩阵,然后将该矩阵增加一个新列和一个新行,并填充可微的松弛参数;
对该矩阵应用Sinkhorn算法来求解该最优传输问题;在应用Sinkhorn算法反复迭代一定次
数(预设100次)后,移除新增的一行、一列得到每个初始匹配关系的匹配置信度。
优选地,在本申请另外的实施例中,所述S300,根据每个初始匹配关系的匹配置信度,选取满足预设条件的初始匹配关系,并获取两个虚拟匹配参考点步骤,包括以下步骤:
根据每个初始匹配关系的匹配置信度,选取匹配置信度的数值最高的预设数量初始匹配关系;
获取预设数量初始匹配关系对应的节点空间坐标,对所有节点空间坐标计算节点空间坐标均值,所述节点空间坐标均值为两个虚拟匹配参考点。
具体的,本实施例中,由于匹配置信度的数值越高,对应的匹配关系是正确匹配的可能性越大;但是由于重复纹理、弱纹理场景广泛存在,这并不总是成立的;为了提高本发明方法的鲁棒性,因此选择匹配置信度分数最高的预设数量(K个)初始匹配关系,并计算均值构造虚拟匹配关系,虚拟匹配关系所对应的虚拟点(节点空间坐标均值)记作两个虚拟匹配参考点。
优选地,在本申请另外的实施例中,所述S400,根据所述满足预设条件的初始匹配关系,更新两个虚拟匹配参考点之间的空间相对位置步骤,包括以下步骤:
优选地,在本申请另外的实施例中,所述S500,通过更新后的两个虚拟匹配参考点对两个待配准点云进行归一化处理,将归一化处理后的两个待配准点云分别对应与特征增强更新后的两个节点特征进行融合更新步骤,包括以下步骤:
将两个集合几何特征分别对应与特征增强更新后的两个节点特征进行融合更新:
具体的,本实施例中,首先获取两个待配准点云的两个节点集分别相对于更新后的两个虚拟匹配参考点的位置向量,再将各位置向量输入到位置嵌入层来实现特征重构,其中位置嵌入层为五层感知机网络,通道数依次为32-64-128-256-256;最终输出特征维度256的几何位置特征;该几何位置特征用于增强节点特征的辨识度。
优选地,在本申请另外的实施例中,所述S600,根据融合更新后的两个节点特征,建立待配准的子点云之间的最终匹配关系,并根据所述最终匹配关系获取最终点匹配关系集合步骤,包括以下步骤:
根据所述最近邻匹配概率,选取最近邻匹配概率的数值最高的预设数量初始匹配关系为待配准的子点云之间的最终匹配关系;
根据最终点匹配关系的匹配置信度,基于互topk算法,获取子点云匹配对中的最终点匹配关系集合;
具体的,本实施例中,对相似度矩阵增加一个新列和新行,并填
充可学习的松弛参数。再将点匹配问题转化为最优传输问题,对该矩阵运行Sinkhorn算
法求解该最优传输问题;在迭代一定次数后,移除新增的一行、一列得到该子点云匹配对所
对应的获取最终点匹配关系的匹配置信度。
把最终点匹配关系的匹配置信度视为候选匹配的置信度矩阵,然后利用互topk
算法选择策略提取点匹配关系,即选择中数值同时位于前k个对应的子点云匹配对中的
最终点匹配关系,并依次计算所有子点云匹配对内部的最终点匹配关系,所有最终点匹配
关系构成的集合为最终点匹配关系集合。
优选地,在本申请另外的实施例中,所述S700,根据所述最终点匹配关系集合,获取两个待配准点云之间的最优刚性变换参数步骤,包括以下步骤:
根据所述最终点匹配关系集合,获取使点云目标函数取最小值的初始旋转矩阵和初始平移矩阵,及最终点匹配关系集合的平均距离;
当最终点匹配关系集合的平均距离大于预设距离,则基于RANSAC算法对初始旋转矩阵和初始平移矩阵进行迭代,获取的最优旋转矩阵和平移矩阵为最优刚性变换参数。
具体的,本实施例中,当获得最终点匹配关系集合后,取最终点匹配关系集合集
中n个点匹配对关系,求解使得目标函数取最小值的旋
转矩阵r和平移矩阵t,其中表示对源点云和目标点云中三维点的索引组合;迭代步骤
中给定阈值为0.05,最大迭代次数为20000,当最终点匹配关系集合的平均距离大于预设距
离,则基于RANSAC算法对初始旋转矩阵和初始平移矩阵进行迭代,获取的最优旋转矩阵和
平移矩阵为最优刚性变换参数。
优选地,在本申请另外的实施例中,所述S500,通过更新后的两个虚拟匹配参考点对两个待配准点云进行归一化处理,将归一化处理后的两个待配准点云分别对应与特征增强更新后的两个节点特征进行融合更新步骤之后,包括以下步骤:
将融合更新的两个节点特征再次重复进行特征增强更新、直至再次完成融合更新步骤。
具体的,本实施例中,重复步骤S200~S500两次,实现匹配关系建立与节点特征更新的联合优化。即交替进行如下过程两次:学习几何位置特征表示以更新节点特征、计算节点匹配关系及其匹配置信度分数;从而实现节点特征不断优化,特征辨识度逐步提升。本发明提出了一种高效的基于等距同构原理的位置编码方式,从而实现不同点云参考系下保持空间一致性的位置编码。同时,提出了一种联合优化机制,以点云逐点特征作为中间代理,联合优化两部分点云对应关系建立与位置编码,点云的特征也因此得到持续优化。另外,提出一种点云渐进对齐策略,用于补偿两部分点云所在参考系的三维空间位置差异。同时本发明所提出的点云配准方法由于仅需确定一组对应关系用于增强点云特征区分度,因此具有较高的推理速度以及较低的显存开销,可用于实际场景,特别是在无人机机载硬件环境,可实现算法性能与实时性要求的有效平衡。
参见图2所示,本发明还提供了一种用于无人机自动避障的轻量点云配准系统100,包括:采样提取划分模块110、特征增强更新模块120、虚拟匹配参考点获取模块130、位置更新模块140、融合更新模块150、最终匹配关系模块160、最优刚性变换参数模块170;
采样提取划分模块110,用于对两个待配准点云进行均匀下采样对应获取两个节点集,提取两个节点集的节点特征,并将两个待配准点云分别划分为多个子点云;
特征增强更新模块120,与所述采样提取划分模块110通信连接,用于根据两个节点特征,建立两个待配准点云之间的初始匹配关系,获取特征增强更新后的两个节点特征,及每个初始匹配关系的匹配置信度;
虚拟匹配参考点获取模块130,与所述特征增强更新模块120通信连接,用于根据每个初始匹配关系的匹配置信度,选取满足预设条件的初始匹配关系,并获取两个虚拟匹配参考点;
位置更新模块140,与虚拟匹配参考点获取模块130通信连接,根据所述满足预设条件的初始匹配关系,更新两个虚拟匹配参考点之间的空间相对位置;
融合更新模块150,与所述位置更新模块140、所述采样提取划分模块110及所述特征增强更新模块120通信连接,用于通过更新后的两个虚拟匹配参考点对两个待配准点云进行归一化处理,将归一化处理后的两个待配准点云分别对应与特征增强更新后的两个节点特征进行融合更新;
最终匹配关系模块160,与所述融合更新模块150通信连接,用于根据融合更新后的两个节点特征,建立待配准的子点云之间的最终匹配关系,并根据所述最终匹配关系获取最终点匹配关系集合;以及,
最优刚性变换参数模块170,与所述最终匹配关系模块160通信连接,根据所述最终点匹配关系集合,获取两个待配准点云之间的最优刚性变换参数。
具体的,本实施例与上述方法实施例一一对应,各个模块的功能在相应的方法实施例中已经进行详细说明,因此不再一一赘述。
基于同一发明构思,本申请实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述方法的所有方法步骤或部分方法步骤。
基于同一发明构思,本申请实施例还提供一种基于图像拼接的全景相机,包括基于多角度镜头的视频流获取模块和算法处理器模块,存储器上储存有在处理器上运行的计算机程序,处理器执行计算机程序时实现上述方法中的所有方法步骤或部分方法步骤。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、服务器或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、服务器和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种用于无人机自动避障的轻量点云配准方法,其特征在于,包括以下步骤:
对两个待配准点云进行均匀下采样对应获取两个节点集,提取两个节点集的节点特征,并将两个待配准点云分别划分为多个子点云;
根据两个节点特征,建立两个待配准点云之间的初始匹配关系,获取特征增强更新后的两个节点特征,及每个初始匹配关系的匹配置信度;
根据每个初始匹配关系的匹配置信度,选取满足预设条件的初始匹配关系,并获取两个虚拟匹配参考点;
根据所述满足预设条件的初始匹配关系,更新两个虚拟匹配参考点之间的空间相对位置;
通过更新后的两个虚拟匹配参考点对两个待配准点云进行归一化处理,将归一化处理后的两个待配准点云分别对应与特征增强更新后的两个节点特征进行融合更新;
根据融合更新后的两个节点特征,建立待配准的子点云之间的最终匹配关系,并根据所述最终匹配关系获取最终点匹配关系集合;
根据所述最终点匹配关系集合,获取两个待配准点云之间的最优刚性变换参数。
2.如权利要求1所述的用于无人机自动避障的轻量点云配准方法,其特征在于,所述对两个待配准点云进行均匀下采样对应获取两个节点集,提取两个节点集的节点特征,并将两个待配准点云划分为多个子点云步骤,包括以下步骤:
待配准点云包括源点云与目标点云;
对源点云与目标点云分别进行均匀下采样对应获取源点云节点集与目标点云节点集,提取所述源点云节点集与所述目标点云节点集对应的源点云节点特征与目标点云节点特征;
将所述源点云与所述目标点云对应划分为多个源点云子点云与多个目标点云子点云。
3.如权利要求1所述的用于无人机自动避障的轻量点云配准方法,其特征在于,所述根据两个节点特征,建立两个待配准点云之间的初始匹配关系,获取特征增强更新后的两个节点特征,及每个初始匹配关系的匹配置信度步骤,包括以下步骤:
4.如权利要求1所述的用于无人机自动避障的轻量点云配准方法,其特征在于,所述根据每个初始匹配关系的匹配置信度,选取满足预设条件的初始匹配关系,并获取两个虚拟匹配参考点步骤,包括以下步骤:
根据每个初始匹配关系的匹配置信度,选取匹配置信度的数值最高的预设数量初始匹配关系;
获取预设数量初始匹配关系对应的节点空间坐标,对所有节点空间坐标计算节点空间坐标均值,所述节点空间坐标均值为两个虚拟匹配参考点。
7.如权利要求6所述的用于无人机自动避障的轻量点云配准方法,其特征在于,所述根据融合更新后的两个节点特征,建立待配准的子点云之间的最终匹配关系,并根据所述最终匹配关系获取最终点匹配关系集合步骤,包括以下步骤:
根据所述最近邻匹配概率,选取最近邻匹配概率的数值最高的预设数量初始匹配关系为待配准的子点云之间的最终匹配关系;
根据最终点匹配关系的匹配置信度,基于互topk算法,获取子点云匹配对中的最终点匹配关系集合;
8.如权利要求1所述的用于无人机自动避障的轻量点云配准方法,其特征在于,所述根据所述最终点匹配关系集合,获取两个待配准点云之间的最优刚性变换参数步骤,包括以下步骤:
根据所述最终点匹配关系集合,获取使点云目标函数取最小值的初始旋转矩阵和初始平移矩阵,及最终点匹配关系集合的平均距离;
当最终点匹配关系集合的平均距离大于预设距离,则基于RANSAC算法对初始旋转矩阵和初始平移矩阵进行迭代,获取的最优旋转矩阵和平移矩阵为最优刚性变换参数。
9.如权利要求1所述的用于无人机自动避障的轻量点云配准方法,其特征在于,所述通过更新后的两个虚拟匹配参考点对两个待配准点云进行归一化处理,将归一化处理后的两个待配准点云分别对应与特征增强更新后的两个节点特征进行融合更新步骤之后,包括以下步骤:
将融合更新的两个节点特征再次重复进行特征增强更新、直至再次完成融合更新步骤。
10.一种轻量点云配准系统,其特征在于,包括:
采样提取划分模块,用于对两个待配准点云进行均匀下采样对应获取两个节点集,提取两个节点集的节点特征,并将两个待配准点云分别划分为多个子点云;
特征增强更新模块,与所述采样提取划分模块通信连接,用于根据两个节点特征,建立两个待配准点云之间的初始匹配关系,获取特征增强更新后的两个节点特征,及每个初始匹配关系的匹配置信度;
虚拟匹配参考点获取模块,与所述特征增强更新模块通信连接,用于根据每个初始匹配关系的匹配置信度,选取满足预设条件的初始匹配关系,并获取两个虚拟匹配参考点;
位置更新模块,与虚拟匹配参考点获取模块通信连接,根据所述满足预设条件的初始匹配关系,更新两个虚拟匹配参考点之间的空间相对位置;
融合更新模块,与所述位置更新模块、所述采样提取划分模块及所述特征增强更新模块通信连接,用于通过更新后的两个虚拟匹配参考点对两个待配准点云进行归一化处理,将归一化处理后的两个待配准点云分别对应与特征增强更新后的两个节点特征进行融合更新;
最终匹配关系模块,与所述融合更新模块通信连接,用于根据融合更新后的两个节点特征,建立待配准的子点云之间的最终匹配关系,并根据所述最终匹配关系获取最终点匹配关系集合;以及,
最优刚性变换参数模块,与所述最终匹配关系模块通信连接,根据所述最终点匹配关系集合,获取两个待配准点云之间的最优刚性变换参数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211167883.6A CN115272433B (zh) | 2022-09-23 | 2022-09-23 | 用于无人机自动避障的轻量点云配准方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211167883.6A CN115272433B (zh) | 2022-09-23 | 2022-09-23 | 用于无人机自动避障的轻量点云配准方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115272433A CN115272433A (zh) | 2022-11-01 |
CN115272433B true CN115272433B (zh) | 2022-12-09 |
Family
ID=83756218
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211167883.6A Active CN115272433B (zh) | 2022-09-23 | 2022-09-23 | 用于无人机自动避障的轻量点云配准方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115272433B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116401794B (zh) * | 2023-06-09 | 2023-08-15 | 四川大学 | 基于注意力引导的深度点云配准的叶片三维精确重建方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106780459A (zh) * | 2016-12-12 | 2017-05-31 | 华中科技大学 | 一种三维点云数据自动配准方法 |
CN109087342A (zh) * | 2018-07-12 | 2018-12-25 | 武汉尺子科技有限公司 | 一种基于特征匹配的三维点云全局配准方法及系统 |
CN113706710A (zh) * | 2021-08-11 | 2021-11-26 | 武汉大学 | 基于fpfh特征差异的虚拟点多源点云融合方法及系统 |
CN113989340A (zh) * | 2021-10-29 | 2022-01-28 | 天津大学 | 一种基于分布的点云配准方法 |
CN114332176A (zh) * | 2021-12-22 | 2022-04-12 | 武汉大学 | 一种端到端三维点云配准方法 |
CN114782503A (zh) * | 2022-04-01 | 2022-07-22 | 重庆邮电大学 | 一种基于多尺度特征相似度约束的点云配准方法及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108228798B (zh) * | 2017-12-29 | 2021-09-17 | 百度在线网络技术(北京)有限公司 | 确定点云数据之间的匹配关系的方法和装置 |
-
2022
- 2022-09-23 CN CN202211167883.6A patent/CN115272433B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106780459A (zh) * | 2016-12-12 | 2017-05-31 | 华中科技大学 | 一种三维点云数据自动配准方法 |
CN109087342A (zh) * | 2018-07-12 | 2018-12-25 | 武汉尺子科技有限公司 | 一种基于特征匹配的三维点云全局配准方法及系统 |
CN113706710A (zh) * | 2021-08-11 | 2021-11-26 | 武汉大学 | 基于fpfh特征差异的虚拟点多源点云融合方法及系统 |
CN113989340A (zh) * | 2021-10-29 | 2022-01-28 | 天津大学 | 一种基于分布的点云配准方法 |
CN114332176A (zh) * | 2021-12-22 | 2022-04-12 | 武汉大学 | 一种端到端三维点云配准方法 |
CN114782503A (zh) * | 2022-04-01 | 2022-07-22 | 重庆邮电大学 | 一种基于多尺度特征相似度约束的点云配准方法及系统 |
Non-Patent Citations (3)
Title |
---|
三维点云配准方法的研究;宋林霞;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140615;全文 * |
基于改进PSO-TrICP算法的点云配准;梁正友;《计算机与现代化》;20220530;全文 * |
改进的RANSAC算法在三维点云配准中的应用;刘美菊等;《激光与光电子学进展》;20180511(第10期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN115272433A (zh) | 2022-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Melekhov et al. | Dgc-net: Dense geometric correspondence network | |
CN114194211A (zh) | 一种自动驾驶方法、装置及电子设备和存储介质 | |
CN111489394B (zh) | 物体姿态估计模型训练方法、系统、装置及介质 | |
CN110281949B (zh) | 一种自动驾驶统一分层决策方法 | |
CN113538218B (zh) | 基于位姿自监督对抗生成网络的弱配对图像风格迁移方法 | |
CN110443849B (zh) | 一种基于深度图像的双流卷积神经网络回归学习的目标定位方法 | |
CN115272433B (zh) | 用于无人机自动避障的轻量点云配准方法及系统 | |
Saleem et al. | Steering angle prediction techniques for autonomous ground vehicles: a review | |
CN114937083A (zh) | 一种应用于动态环境的激光slam系统及方法 | |
CN115761240B (zh) | 一种混沌反向传播图神经网络的图像语义分割方法及装置 | |
WO2023125628A1 (zh) | 神经网络模型优化方法、装置及计算设备 | |
CN111260794B (zh) | 基于跨源图像匹配的户外增强现实应用方法 | |
CN114707611B (zh) | 基于图神经网络特征提取与匹配的移动机器人地图构建方法、存储介质及设备 | |
CN116258744A (zh) | 基于可见光、红外和激光雷达数据融合的目标跟踪方法 | |
CN117634486B (zh) | 一种基于文本信息的指向性3d实例分割方法 | |
CN113592015B (zh) | 定位以及训练特征匹配网络的方法和装置 | |
CN116052025A (zh) | 一种基于孪生网络的无人机视频图像小目标跟踪方法 | |
Cao et al. | RetinaMOT: rethinking anchor-free YOLOv5 for online multiple object tracking | |
CN114494644A (zh) | 一种基于双目立体匹配的空间非合作目标位姿估计与三维重建方法及系统 | |
CN114764870A (zh) | 对象定位模型处理、对象定位方法、装置及计算机设备 | |
CN112561947A (zh) | 一种图像自适应运动估计方法及应用 | |
CN111339342B (zh) | 一种基于角度三元中心损失的三维模型检索方法 | |
CN111914809A (zh) | 目标对象定位方法、图像处理方法、装置和计算机设备 | |
CN116753936A (zh) | 基于众源视觉图像的自动驾驶矢量地图在线构建方法 | |
CN114612734B (zh) | 遥感影像特征匹配方法、装置、存储介质及计算机设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address | ||
CP03 | Change of name, title or address |
Address after: No. 548, 5th Floor, Building 10, No. 28 Linping Avenue, Donghu Street, Linping District, Hangzhou City, Zhejiang Province Patentee after: Hangzhou Tuke Intelligent Information Technology Co.,Ltd. Address before: 430000 B033, No. 05, 4th floor, building 2, international enterprise center, No. 1, Guanggu Avenue, Donghu New Technology Development Zone, Wuhan, Hubei (Wuhan area of free trade zone) Patentee before: Wuhan Tuke Intelligent Technology Co.,Ltd. |