CN117745816A - 激光雷达位置识别方法、系统、装置 - Google Patents
激光雷达位置识别方法、系统、装置 Download PDFInfo
- Publication number
- CN117745816A CN117745816A CN202311733069.0A CN202311733069A CN117745816A CN 117745816 A CN117745816 A CN 117745816A CN 202311733069 A CN202311733069 A CN 202311733069A CN 117745816 A CN117745816 A CN 117745816A
- Authority
- CN
- China
- Prior art keywords
- global feature
- distance
- point cloud
- map
- extraction network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明属于服务机器人技术领域,具体涉及一种激光雷达位置识别方法、系统、装置,旨在解决现有基于距离图和通过深度学习提取全局特征向量的激光雷达位置识别方法难以同时兼具较好的鲁棒性和准确性的问题。本发明方法包括:获取当前帧点云并转换为距离图,输入到训练好的全局特征提取网络中,得到查询全局特征向量;将历史观测数据库中的各帧点云投影成距离图,并输入训练好的全局特征提取网络获得对应的参考全局特征向量;计算查询全局特征向量与各参考全局特征向量之间的欧式距离,选择欧式距离最小的参考全局特征向量对应的历史帧点云作为位置识别的结果。本发明能够在保证位置识别鲁棒性的同时,提供更加准确的位置识别精度。
Description
技术领域
本发明属于服务机器人技术领域,具体涉及一种激光雷达位置识别方法、系统、装置。
背景技术
近年来,随着人工智能、传感技术、计算处理技术等的迅猛发展,机器人已走进人们的日常工作和生活中。机器人估计自身的位姿是顺利进行自主作业的前提,但由于位姿估计存在累计误差等因素,准确鲁棒的定位仍然面临挑战。为应对该挑战,闭环优化必不可少,这就需要机器人在给定环境下根据当前观测,识别出曾经走过的位置对应的历史观测,即位置识别。由于激光雷达传感器能够准确测量深度信息,且对光照条件鲁棒,基于激光雷达的位置识别方法备受关注。目前,主流的激光雷达位置识别方法为基于全局特征向量的方法,它将点云观测转换为全局特征向量,然后基于全局特征向量之间的相似性来确定识别结果。具体的,机器人历史运动过程中采集的各帧点云构成历史观测数据库,并计算历史观测数据库中的每一帧点云的全局特征向量,作为对应的参考全局特征向量;给定当前帧点云,获得它的全局特征向量,作为对应的查询全局特征向量,计算其与各参考全局特征向量之间的相似性,选择相似性最高的参考全局特征向量对应的点云作为位置识别结果,其中相似性的度量标准包括欧式距离,欧式距离越小,相似度越高。传统基于全局特征向量的方法将点云观测中的点的高度、强度等统计信息编码成全局特征向量,虽然效率较高,但是精度通常较低,且对点的密度较为敏感。近年来,出现了一系列基于深度学习提取全局特征向量的激光雷达位置识别方法,该类方法根据输入的表示形式,可分为基于点云、基于体素和基于距离图的激光雷达位置识别方法三种类型。其中,基于点云和基于体素的激光雷达位置识别方法依赖数据增强或者额外的变换网络实现对点云旋转的鲁棒性,较为耗时且鲁棒性较差。基于距离图的激光雷达位置识别方法则将点云转化为距离图,且采用对点云的偏航旋转不变的网络设计,实现较好的鲁棒性,但其精度仍需进一步提高。如何设计一种鲁棒且准确的基于距离图和通过深度学习提取全局特征向量的激光雷达位置识别方法仍有待进一步研究。
发明内容
为了解决现有技术中的上述问题,即为了解决现有基于距离图和通过深度学习提取全局特征向量的激光雷达位置识别方法难以同时兼具较好的鲁棒性和准确性的问题,本发明提出一种激光雷达位置识别方法,该方法包括:
步骤S10,通过机器人搭载的3D激光雷达传感器获取当前帧点云,将所述点云转换为距离图,并将该距离图输入到训练好的全局特征提取网络中,将全局特征提取网络的输出作为对应的查询全局特征向量;
步骤S20,将历史观测数据库中的各帧点云投影成距离图,并输入训练好的全局特征提取网络获得对应的参考全局特征向量;
步骤S30,计算所述查询全局特征向量与各参考全局特征向量之间的欧式距离,选择欧式距离最小的参考全局特征向量对应的历史帧点云作为位置识别的结果。
在一些优选的实施方式中,所述全局特征提取网络包括距离图编码器、特征聚合器以及特征生成器;
所述距离图编码器包括十一个卷积层Conv1、Conv2、Conv3、Conv4、Conv5、Conv6、Conv7、Conv8、Conv9、Conv10、Conv11和一个自适应最大池化层Adp_Max_Pool_1;所述距离图经十一个卷积层依次处理后,得到第一特征图F1;所述F1经所述Adp_Max_Pool_1处理后,得到第二特征图F2;
所述特征聚合器包括一个升维卷积层Conv12、一个通道混合多层感知机CM_MLP、一个循环列移不变注意力CSI_Attn和一个全连接层FC1;所述F2经所述升维卷积层处理后,得到第三特征图F3;所述F3经Pytorch中的Squeeze函数处理,得到第四特征图F4;所述F4送入通道混合多层感知机处理,得到第五特征图F5;所述循环列移不变注意力包括一个层归一化LN1、一个自适应最大池化层Adp_Max_Pool_2、一个自适应平均池化层Adp_Avg_Pool_1以及一个卷积层Conv13;所述F5经过所述LN1处理后得到第六特征图F6;所述F6分别经过所述Adp_Max_Pool_2和所述Adp_Avg_Pool_1处理后得到第七特征图F7和第八特征图F8;分别使用λ和1-λ对所述F7和所述F8进行加权,加权后的结果求和得到第九特征图F9;其中λ为可学习的标量参数;所述F9经过所述Conv13处理,并对处理结果转置得到第十特征图F10;将所述F10和所述F6进行相乘得到第十一特征图F11;所述F11经过所述FC1处理后得到第十二特征图F12;所述F11和所述F12沿通道维度拼接得到第十三特征图F13;
所述特征生成器包括一个多尺度模块MS、一个NetVLAD层和一个上下文门控单元CG;所述MS包括两个全连接层FC2、FC3、三个卷积层Conv14、Conv15、Conv16、一个层归一化LN2、一个全连接层FC4和一个卷积层Conv17;所述F13通过所述FC2、所述FC3处理,得到所述第十四特征图F14和所述第十五特征图F15;所述F13、所述F14、所述F15分别经过所述Conv14、所述Conv15、所述Conv16处理后并沿着空间维度拼接,得到第十六特征图F16;所述F16经过所述LN2、所述FC4和所述Conv17依次处理后得到第十七特征图F17;所述F17和所述F16相加后得到第十八特征图F18;所述F18依次经过所述NetVLAD层和所述CG的处理,得到第十九特征图F19,对所述F19进行归一化处理后得到第二十特征图F20,作为全局特征提取网络的输出。
在一些优选的实施方式中,所述距离图编码器中的十一个卷积层均不带有偏置参数,且Conv1的填充方式为复制填充,其余卷积层都为零填充;
所述Adp_Max_Pool_1沿着高所在的维度执行池化操作。
在一些优选的实施方式中,所述循环列移不变注意力中的所述Adp_Max_Pool_2和所述Adp_Avg_Pool_1均沿通道维度执行池化操作;
所述Conv13采用一维卷积,卷积核尺寸为k×1×w,w为所述距离图输入的宽,k=|(1+log2w)/2|odd,log2表示取对数操作,|·|odd表示取最近的奇数,填充方式为循环填充,尺寸为且不带偏置参数,使用Sigmoid激活函数。
在一些优选的实施方式中,所述特征生成器中的所述FC2、所述FC3为串联关系,且带有可学习的偏置参数;
所述Conv14、所述Conv15、所述Conv16和所述Conv17均采用一维卷积,且带可学习的偏置参数。
在一些优选的实施方式中,所述全局特征提取网络,其训练方法为:
获取训练数据序列,所述训练数据序列包含点云数据;对每个序列,根据球面投影将它的各帧点云转换为设定大小的距离图,并对于每一个距离图,使用投影法计算其与该序列中其它距离图的相似度;
根据每个序列中各帧点云的位姿真值,计算任意两帧点云之间的欧式距离,作为这两帧点云对应距离图间的度量距离;
基于所述相似度、所述度量距离以及设定的相似度阈值、度量距离阈值,构建每个距离图的正样本集合、负样本集合;
对任一距离图从其对应的正样本集合中有放回地随机选择Np个正样本从其对应的负样本集合中无放回地随机选择Nn个负样本进而构成一个训练元组将所述训练元组输入所述全局特征提取网络,得到的第一特征图F1经过自适应平均池化Adp_Avg_Pool_2、Pytorch的Squeeze函数和归一化处理后,得到向量元组其中Adp_Avg_Pool_2沿着空间维度执行池化操作;
结合所述向量元组,计算损失函数,对所述全局特征提取网络进行训练,直至得到训练好的全局特征提取网络。
在一些优选的实施方式中,所述全局特征提取网络,其损失函数为:
其中,L为一个训练元组的损失,α和β为边际参数,[·]+为合页损失,d(·)为欧式距离,γ为动态权重,分别为对应的全局特征提取网络的输出。
本发明的第二方面,提出了一种激光雷达位置识别系统,包括:
查询向量获取模块,配置为通过机器人搭载的3D激光雷达传感器获取当前帧点云,将所述点云转换为距离图,并将该距离图输入到训练好的全局特征提取网络中,将全局特征提取网络的输出作为对应的查询全局特征向量;
参考向量获取模块,配置为将历史观测数据库中的各帧点云投影成距离图,并输入训练好的全局特征提取网络获得对应的参考全局特征向量;
位置识别模块,配置为计算所述查询全局特征向量与各参考全局特征向量之间的欧式距离,选择欧式距离最小的参考全局特征向量对应的历史帧点云作为位置识别的结果。
本发明的第三方面,提出了一种存储装置,其中存储有多条程序,所述程序适用于由处理器加载并执行以实现上述的激光雷达位置识别方法。
本发明的第四方面,提出了一种处理装置,包括处理器、存储装置;处理器,适用于执行各条程序;存储装置,适用于存储多条程序;所述程序适用于由处理器加载并执行以实现上述的激光雷达位置识别方法。
本发明的有益效果:
本发明通过基于距离图和循环列移不变注意力的全局特征提取网络进行特征提取,得到全局特征向量,在此基础上,基于生成的全局特征向量进行位置识别,能够在保证位置识别鲁棒性的同时,提供更加准确的识别精度,有效提高位置识别的性能,为服务机器人的高质量定位提供技术支持。
附图说明
通过阅读参照以下附图所做的对非限制性实施例所做的详细描述,本申请的其他特征、目的和优点将会变得更明显。
图1是本发明一种实施例的激光雷达位置识别方法的流程示意图;
图2为本发明一种实施例的激光雷达位置识别系统的框架示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
本发明的激光雷达位置识别方法,如图1所示,该方法包括以下步骤:
步骤S10,通过机器人搭载的3D激光雷达传感器获取当前帧点云,将所述点云转换为距离图,并将该距离图输入到训练好的全局特征提取网络中,将全局特征提取网络的输出作为对应的查询全局特征向量;
步骤S20,将历史观测数据库中的各帧点云投影成距离图,并输入训练好的全局特征提取网络获得对应的参考全局特征向量;
步骤S30,计算所述查询全局特征向量与各参考全局特征向量之间的欧式距离,选择欧式距离最小的参考全局特征向量对应的历史帧点云作为位置识别的结果。
为了更清晰地对本发明激光雷达位置识别方法进行说明,下面对本发明方法一种实施例中各步骤进行展开详述。
该实施例为一种较优的实现方式,预先构建一个包含距离图编码器、特征聚合器以及特征生成器的全局特征提取网络,基于预先构建的训练样本并结合预先设计的损失函数(具体损失函数的设置会在下文具体展开说明)对该全局特征提取网络进行训练,获取距离图编码器、特征聚合器以及特征生成器的参数,并应用到本发明的激光雷达位置识别方法中。
距离图编码器包括十一个卷积层Conv1、Conv2、Conv3、Conv4、Conv5、Conv6、Conv7、Conv8、Conv9、Conv10、Conv11和一个自适应最大池化层Adp_Max_Pool_1,这十二个层依次连接,设置方式如下:十一个卷积层分别采用尺寸为5×1×1×16、1×1×16×16、3×1×16×16、1×1×16×32、3×1×32×32、1×1×32×64、3×1×64×64、1×1×64×128、3×1×128×128、1×1×128×128、1×1×128×128的卷积核,卷积核参数格式为高×宽×输入通道×输出通道;卷积步长分别为(1,1)、(1,1)、(2,1)、(1,1)、(2,1)、(1,1)、(2,1)、(1,1)、(2,1)、(1,1)、(1,1);填充尺寸分别为(2,0)、(0,0)、(1,0)、(0,0)、(1,0)、(0,0)、(1,0)、(0,0)、(1,0)、(0,0)、(0,0),且Conv1的填充方式为复制填充,其余卷积层都为零填充,此外,这十一个卷积层均不带有偏置参数;自适应最大池化层Adp_Max_Pool_1沿着高所在的维度执行池化操作,使得输出特征图的高的尺寸为1。对于尺寸为h×w×1(高×宽×通道)的距离图输入,经过Conv1、Conv2、Conv3、Conv4、Conv5、Conv6、Conv7、Conv8、Conv9、Conv10和Conv11依次处理后,得到第一特征图F1,尺寸为h/16×w×128,F1经过Adp_Max_Pool_1处理后得到第二特征图F2,尺寸为1×w×128。
将第二特征图F2送入特征聚合器中,特征聚合器包括一个升维卷积层Conv12、一个通道混合多层感知机CM_MLP、一个循环列移不变注意力CSI_Attn和一个全连接层FC1,这四个部分依次连接。
升维卷积层Conv12采用1×1×128×256的卷积核,步长为(1,1),不带偏置参数。第二特征图F2经过Conv12处理后得到第三特征图F3,尺寸为1×w×256。第三特征图F3采用Pytorch中的Squeeze函数进行处理,得到第四特征图F4,尺寸为w×256。第四特征图F4送入通道混合多层感知机CM_MLP进行处理,得到第五特征图F5,尺寸为w×256,其中,CM_MLP采用现有方案,具体结构详见文献Ilya Tolstikhin,Neil Houlsby,Alexander Kolesnikov,Lucas Beyer,Xiaohua Zhai,Thomas Unterthiner,Jessica Yung,Andreas Steiner,Daniel Keysers,Jakob Uszkoreit,Mario Lucic,Alexey Dosovitskiy.MLP-Mixer:Anall-MLP Architecture for Vision.Advances in Neural Information ProcessingSystems,34,pp.24261-24272,2021。
第五特征图F5送入循环列移不变注意力CSI_Attn中,CSI_Attn包括一个层归一化LN1、一个自适应最大池化层Adp_Max_Pool_2、一个自适应平均池化层Adp_Avg_Pool_1以及一个卷积层Conv13。LN1的归一化维度为256;Adp_Max_Pool_2和Adp_Avg_Pool_1均沿通道维度执行池化操作,使得特征图的输出通道数为1;卷积层Conv13采用一维卷积,卷积核尺寸为k×1×w,步长为1,填充方式为循环填充,尺寸为且不带偏置参数,使用Sigmoid激活函数,k=|(1+log2w)/2|odd,log2表示取对数操作,|·|odd表示取最近的奇数。第五特征图F5经过LN1处理后得到第六特征图F6,尺寸为w×256。第六特征图F6分别经过Adp_Max_Pool_2和Adp_Avg_Pool_1处理后得到第七特征图F7和第八特征图F8,尺寸均为w×1。分别使用λ和1-λ对第七特征图F7和第八特征图F8进行加权,加权后的结果求和得到第九特征图F9,尺寸为w×1,其中λ为可学习的标量参数。第九特征图F9经过Conv13处理,并对处理结果转置得到第十特征图F10,尺寸为w×w。将第十特征图F10和第六特征图F6进行相乘得到第十一特征图F11,尺寸为w×256。进一步,第十一特征图F11经过全连接层FC1处理后得到第十二特征图F12,尺寸为w×256,其中,全连接层FC1采用尺寸为256×256的权重,带可学习的偏置参数。将第十一特征图F11和第十二特征图F12沿通道维度拼接得到第十三特征图F13,尺寸为w×512,作为特征聚合器的输出。
将第十三特征图F13送入特征生成器中,其中特征生成器包括一个多尺度模块MS、一个NetVLAD层和一个上下文门控单元CG,这三个部分依次连接。
多尺度模块MS接收第十三特征图F13后,首先使用全连接层FC2对F13进行处理,得到第十四特征图F14,再经过全连接层FC3得到第十五特征图F15,F14和F15的尺寸分别为w/2×512、w/4×512,其中全连接层FC2、FC3为串联关系,分别采用尺寸为w×w/2、w/2×w/4的权重,且带可学习的偏置参数。然后,F13、F14、F15分别经过卷积层Conv14、Conv15、Conv16处理,将得到的特征图沿着空间维度拼接,进而获得第十六特征图F16,尺寸为1.75w×512,其中卷积层Conv14、Conv15、Conv16均采用一维卷积,卷积核尺寸均为1×512×512,步长为1,带可学习的偏置参数。第十六特征图F16再经过一个层归一化LN2、一个全连接层FC4和一个卷积层Conv17依次处理后得到第十七特征图F17,尺寸为1.75w×512,其中,LN2的归一化维度为512;FC4采用尺寸为1.75w×1.75w的权重,带可学习的偏置参数;Conv17采用一维卷积,卷积核尺寸为1×512×512,步长为1,带可学习的偏置参数。
将第十七特征图F17和第十六特征图F16相加后得到第十八特征图F18,尺寸为1.75w×512,依次经过NetVLAD层和上下文门控单元CG的处理,得到第十九特征图F19,尺寸为1×256,其中,NetVLAD采用现有方案,详见文献Relja Arandjelovic,Petr Gronat,AkihikoTorii,Tomas Pajdla,Josef Sivic.NetVLAD:CNN Architecture for Weakly SupervisedPlace Recognition.IEEE Conference on Computer Vision and Pattern Recognition,pp.5297-5307,2016;上下文门控单元CG采用现有方案,详见文献Le Hui,Hang Yang,Mingmei Cheng,Jin Xie,Jian Yang.Pyramid Point Cloud Transformer for Large-Scale Place Recognition.IEEE/CVF International Conference on Computer Vision,pp.6098-6107,2021。
对第十九特征图F19进行归一化处理后得到第二十特征图F20,尺寸为1×256,作为特征生成器的输出,即全局特征提取网络的输出。
下面对本发明实施例包含距离图编码器、特征聚合器以及特征生成器的全局特征提取网络的训练样本、损失函数进行说明。
全局特征提取网络采用KITTI数据集中的03~10序列作为训练数据序列。对于每个序列,根据球面投影将它的各帧点云转换为64×900的距离图,并对于每一个距离图,使用投影法计算其与该序列中其它距离图的相似度,球面投影和相似度的具体过程详见文献:Xieyuanli Chen,ThomasAndres Milioto,TimoJens Behley,CyrillStachniss.OverlapNet:a siamese network for computing LiDAR scan similaritywith applications to loop closing and localization.Autonomous Robots,46,pp.61-81,2022;同时根据每个序列中各帧点云的位姿真值,计算任意两帧点云之间的欧式距离,作为这两帧点云对应距离图间的度量距离;对于每个序列中的每一个距离图,将与其相似度大于等于相似度阈值(本发明中相似度阈值优选设置为0.3)的其它距离图构成它的正样本集合,与其相似度小于相似度阈值且度量距离大于度量距离阈值(本发明中度量距离阈值优选设置为50m)的其它距离图作为它的负样本集合。
全局特征提取网络的训练过程采用Adam优化器,初始学习权重为0.0001,每训练5代,权重衰减为当前权重的0.8倍。采用批训练的方式,批大小设置为32个元组,训练50代。训练时,给定一个距离图从其对应的正样本集合中有放回地随机选择Np个正样本从其对应的负样本集合中无放回地随机选择Nn个负样本进而构成一个训练元组Np和Nn在本发明中分别优选设置为6和6。该元组输入全局特征提取网络,得到的第一特征图F1经过自适应平均池化Adp_Avg_Pool_2、Pytorch的Squeeze函数和归一化处理后,得到向量元组 各向量的尺寸均为1×128,其中Adp_Avg_Pool_2沿着空间维度执行池化操作,使得输出特征图的空间维度为1×1;训练元组和向量元组相应位置的元素一一对应。损失函数如公式(1)所示:
其中,L为一个训练元组的损失,α和β为边际参数,[·]+为合页损失,d(·)为欧式距离,γ为动态权重,α和β在本发明中分别优选设置为0.25和0.5。γ初值优选设置为0.5,每训练十代,衰减为当前值的0.8倍。分别为对应的全局特征提取网络的输出,1≤i≤Np,1≤j≤Nn。
将训练好的全局特征提取网络应用到本发明的激光雷达位置识别方法中,具体步骤如下:
步骤S10,通过机器人搭载的3D激光雷达传感器获取当前帧点云,将所述点云转换为距离图,并将该距离图输入到训练好的全局特征提取网络中,将全局特征提取网络的输出作为对应的查询全局特征向量;
在本实施例中,通过安装在机器人自身的3D激光雷达传感器获取当前帧点云使用球面投影将所述点云转换成距离图并将距离图输入到训练好的全局特征提取网络,全局特征提取网络的输出作为对应的查询全局特征向量激光雷达传感器优选VelodyneHDL64;球面投影的具体过程详见文献:Xieyuanli Chen,ThomasAndres Milioto,TimoJens Behley,Cyrill Stachniss.OverlapNet:a siamese network forcomputing LiDAR scan similarity with applications to loop closing andlocalization.Autonomous Robots,46,pp.61-81,2022。
步骤S20,将历史观测数据库中的各帧点云投影成距离图,并输入训练好的全局特征提取网络获得对应的参考全局特征向量;
在本实施例中,使用球面投影将历史观测数据库中的每一帧点云投影成距离图,其中历史观测数据库由机器人历史运动过程中采集的各帧点云形成,n为历史观测数据库中点云的帧数;进一步将获得的距离图输入训练好的全局特征提取网络,得到对应的参考全局特征向量
步骤S30,计算所述查询全局特征向量与各参考全局特征向量之间的欧式距离,选择欧式距离最小的参考全局特征向量对应的历史帧点云作为位置识别的结果;
在本实施例中,计算查询全局特征向量与各参考全局特征向量之间的欧式距离,1≤t≤n,选择欧式距离最小的参考全局特征向量对应的历史帧点云作为当前帧点云的位置识别结果。
采用本发明能够在保证位置识别鲁棒性的同时,提供更加准确的识别精度,实现较好的技术效果,为服务机器人的高质量定位提供技术支持。
本发明第二实施例的激光雷达位置识别系统,如图2所示,包括:
查询向量获取模块100,配置为通过机器人搭载的3D激光雷达传感器获取当前帧点云,将点云转换为距离图,并将该距离图输入到训练好的全局特征提取网络中,将全局特征提取网络的输出作为对应的查询全局特征向量;
参考向量获取模块200,配置为将历史观测数据库中的各帧点云投影成距离图,并输入训练好的全局特征提取网络获得对应的参考全局特征向量;
位置识别模块300,配置为计算查询全局特征向量与各参考全局特征向量之间的欧式距离,选择欧式距离最小的参考全局特征向量对应的历史帧点云作为位置识别的结果。
所述技术领域的技术人员可以清楚的了解到,为描述的方便和简洁,上述描述的系统的具体的工作过程及有关说明,可以参考前述方法实施例中的对应过程,在此不再赘述。
需要说明的是,上述实施例提供的激光雷达位置识别系统,仅以上述各功能模块的划分进行举例说明,在实际应用中,可以根据需要而将上述功能分配由不同的功能模块来完成,即将本发明实施例中的模块或者步骤再分解或者组合,例如,上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块,以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称,仅仅是为了区分各个模块或者步骤,不视为对本发明的不当限定。
本发明第三实施例的一种存储装置,其中存储有多条程序,所述程序适用于由处理器加载并执行以实现上述的激光雷达位置识别方法。
本发明第四实施例的一种处理装置,包括处理器、存储装置;处理器,适用于执行各条程序;存储装置,适用于存储多条程序;所述程序适用于由处理器加载并执行以实现上述的激光雷达位置识别方法。
所述技术领域的技术人员可以清楚的了解到,为描述的方便和简洁,上述描述的存储装置、处理装置的具体工作过程及有关说明,可以参考前述方法实例中的对应过程,在此不再赘述。
本领域技术人员应该能够意识到,结合本文中所公开的实施例描述的各示例的模块、方法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”、“第三”等是用于区别类似的对象,而不是用于描述或表示特定的顺序或先后次序。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种激光雷达位置识别方法,其特征在于,该方法包括以下步骤:
步骤S10,通过机器人搭载的3D激光雷达传感器获取当前帧点云,将所述点云转换为距离图,并将该距离图输入到训练好的全局特征提取网络中,将全局特征提取网络的输出作为对应的查询全局特征向量;
步骤S20,将历史观测数据库中的各帧点云投影成距离图,并输入训练好的全局特征提取网络获得对应的参考全局特征向量;
步骤S30,计算所述查询全局特征向量与各参考全局特征向量之间的欧式距离,选择欧式距离最小的参考全局特征向量对应的历史帧点云作为位置识别的结果。
2.基于权利要求1所述的激光雷达位置识别方法,其特征在于,所述全局特征提取网络包括距离图编码器、特征聚合器以及特征生成器;
所述距离图编码器包括十一个卷积层Conv1、Conv2、Conv3、Conv4、Conv5、Conv6、Conv7、Conv8、Conv9、Conv10、Conv11和一个自适应最大池化层Adp_Max_Pool_1;所述距离图经十一个卷积层依次处理后,得到第一特征图F1;所述F1经所述Adp_Max_Pool_1处理后,得到第二特征图F2;
所述特征聚合器包括一个升维卷积层Conv12、一个通道混合多层感知机CM_MLP、一个循环列移不变注意力CSI_Attn和一个全连接层FC1;所述F2经所述升维卷积层处理后,得到第三特征图F3;所述F3经Pytorch中的Squeeze函数处理,得到第四特征图F4;所述F4送入通道混合多层感知机处理,得到第五特征图F5;所述循环列移不变注意力包括一个层归一化LN1、一个自适应最大池化层Adp_Max_Pool_2、一个自适应平均池化层Adp_Avg_Pool_1以及一个卷积层Conv13;所述F5经过所述LN1处理后得到第六特征图F6;所述F6分别经过所述Adp_Max_Pool_2和所述Adp_Avg_Pool_1处理后得到第七特征图F7和第八特征图F8;分别使用λ和1-λ对所述F7和所述F8进行加权,加权后的结果求和得到第九特征图F9;其中λ为可学习的标量参数;所述F9经过所述Conv13处理,并对处理结果转置得到第十特征图F10;将所述F10和所述F6进行相乘得到第十一特征图F11;所述F11经过所述FC1处理后得到第十二特征图F12;所述F11和所述F12沿通道维度拼接得到第十三特征图F13;
所述特征生成器包括一个多尺度模块MS、一个NetVLAD层和一个上下文门控单元CG;所述MS包括两个全连接层FC2、FC3、三个卷积层Conv14、Conv15、Conv16、一个层归一化LN2、一个全连接层FC4和一个卷积层Conv17;所述F13通过所述FC2、所述FC3处理,得到所述第十四特征图F14和所述第十五特征图F15;所述F13、所述F14、所述F15分别经过所述Conv14、所述Conv15、所述Conv16处理后并沿着空间维度拼接,得到第十六特征图F16;所述F16经过所述LN2、所述FC4和所述Conv17依次处理后得到第十七特征图F17;所述F17和所述F16相加后得到第十八特征图F18;所述F18依次经过所述NetVLAD层和所述CG的处理,得到第十九特征图F19,对所述F19进行归一化处理后得到第二十特征图F20,作为全局特征提取网络的输出。
3.基于权利要求2所述的激光雷达位置识别方法,其特征在于,所述距离图编码器中的十一个卷积层均不带有偏置参数,且Conv1的填充方式为复制填充,其余卷积层都为零填充;
所述Adp_Max_Pool_1沿着高所在的维度执行池化操作。
4.基于权利要求2所述的激光雷达位置识别方法,其特征在于,所述循环列移不变注意力中的所述Adp_Max_Pool_2和所述Adp_Avg_Pool_1均沿通道维度执行池化操作;
所述Conv13采用一维卷积,卷积核尺寸为k×1×w,w为所述距离图输入的宽,k=|(1+log2w)/2|odd,log2表示取对数操作,|·|odd表示取最近的奇数,填充方式为循环填充,尺寸为且不带偏置参数,使用Sigmoid激活函数。
5.基于权利要求2所述的激光雷达位置识别方法,其特征在于,所述特征生成器中的所述FC2、所述FC3为串联关系,且带有可学习的偏置参数;
所述Conv14、所述Conv15、所述Conv16和所述Conv17均采用一维卷积,且带可学习的偏置参数。
6.基于权利要求2所述的激光雷达位置识别方法,其特征在于,所述全局特征提取网络,其训练方法为:
获取训练数据序列,所述训练数据序列包含点云数据;对每个序列,根据球面投影将它的各帧点云转换为设定大小的距离图,并对于每一个距离图,使用投影法计算其与该序列中其它距离图的相似度;
根据每个序列中各帧点云的位姿真值,计算任意两帧点云之间的欧式距离,作为这两帧点云对应距离图间的度量距离;
基于所述相似度、所述度量距离以及设定的相似度阈值、度量距离阈值,构建每个距离图的正样本集合、负样本集合;
对任一距离图从其对应的正样本集合中有放回地随机选择Np个正样本从其对应的负样本集合中无放回地随机选择Nn个负样本进而构成一个训练元组将所述训练元组输入所述全局特征提取网络,得到的第一特征图F1经过自适应平均池化Adp_Avg_Pool_2、Pytorch的Squeeze函数和归一化处理后,得到向量元组其中Adp_Avg_Pool_2沿着空间维度执行池化操作;
结合所述向量元组,计算损失函数,对所述全局特征提取网络进行训练,直至得到训练好的全局特征提取网络。
7.基于权利要求6所述的激光雷达位置识别方法,其特征在于,所述全局特征提取网络,其损失函数为:
其中,L为一个训练元组的损失,α和β为边际参数,[·]+为合页损失,d(·)为欧式距离,γ为动态权重,分别为对应的全局特征提取网络的输出。
8.一种激光雷达位置识别系统,其特征在于,包括:
查询向量获取模块,配置为通过机器人搭载的3D激光雷达传感器获取当前帧点云,将所述点云转换为距离图,并将该距离图输入到训练好的全局特征提取网络中,将全局特征提取网络的输出作为对应的查询全局特征向量;
参考向量获取模块,配置为将历史观测数据库中的各帧点云投影成距离图,并输入训练好的全局特征提取网络获得对应的参考全局特征向量;
位置识别模块,配置为计算所述查询全局特征向量与各参考全局特征向量之间的欧式距离,选择欧式距离最小的参考全局特征向量对应的历史帧点云作为位置识别的结果。
9.一种存储装置,其中存储有多条程序,其特征在于,所述程序适用于由处理器加载并执行以实现权利要求1-7任一项所述的激光雷达位置识别方法。
10.一种处理装置,包括处理器、存储装置;处理器,适用于执行各条程序;存储装置,适用于存储多条程序;其特征在于,所述程序适用于由处理器加载并执行以实现权利要求1-7任一项所述的激光雷达位置识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311733069.0A CN117745816A (zh) | 2023-12-15 | 2023-12-15 | 激光雷达位置识别方法、系统、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311733069.0A CN117745816A (zh) | 2023-12-15 | 2023-12-15 | 激光雷达位置识别方法、系统、装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117745816A true CN117745816A (zh) | 2024-03-22 |
Family
ID=90253787
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311733069.0A Pending CN117745816A (zh) | 2023-12-15 | 2023-12-15 | 激光雷达位置识别方法、系统、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117745816A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118505790A (zh) * | 2024-04-11 | 2024-08-16 | 中国科学院自动化研究所 | 机器人位置识别方法、装置、电子设备及存储介质 |
-
2023
- 2023-12-15 CN CN202311733069.0A patent/CN117745816A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118505790A (zh) * | 2024-04-11 | 2024-08-16 | 中国科学院自动化研究所 | 机器人位置识别方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111780763B (zh) | 一种基于视觉地图的视觉定位方法、装置 | |
| CN111780764B (zh) | 一种基于视觉地图的视觉定位方法、装置 | |
| JP7605817B2 (ja) | 深層学習に基づく3d点群の物体検出およびインスタンスセグメント化 | |
| US11798132B2 (en) | Image inpainting method and apparatus, computer device, and storage medium | |
| CN112488210B (zh) | 一种基于图卷积神经网络的三维点云自动分类方法 | |
| WO2020177432A1 (zh) | 基于目标检测网络的多标签物体检测方法、系统、装置 | |
| CN110765865B (zh) | 基于改进的yolo算法的水下目标检测方法 | |
| CN114676777B (zh) | 一种基于孪生网络的自监督学习细粒度图像分类方法 | |
| Li et al. | A comparison of deep learning methods for airborne lidar point clouds classification | |
| CN111028327A (zh) | 一种三维点云的处理方法、装置及设备 | |
| CN116012364B (zh) | Sar图像变化检测方法和装置 | |
| CN108229347A (zh) | 用于人识别的拟吉布斯结构采样的深层置换的方法和装置 | |
| CN119580985A (zh) | 基于多模态图像分析的机器人辅助伤口治疗方法及系统 | |
| CN112819832B (zh) | 基于激光点云的城市场景语义分割细粒度边界提取方法 | |
| CN116563096B (zh) | 用于图像配准的形变场的确定方法、装置以及电子设备 | |
| CN110033012A (zh) | 一种基于通道特征加权卷积神经网络的生成式目标跟踪方法 | |
| CN110827304A (zh) | 一种基于深度卷积网络与水平集方法的中医舌像定位方法和系统 | |
| CN114782768A (zh) | 预训练网络模型的训练方法、医学图像处理方法和设备 | |
| CN111368733A (zh) | 一种基于标签分布学习的三维手部姿态估计方法、存储介质及终端 | |
| US20250342661A1 (en) | Utilizing machine learning models for patch retrieval and deformation in completing three-dimensional digital shapes | |
| CN117745816A (zh) | 激光雷达位置识别方法、系统、装置 | |
| CN111832693A (zh) | 神经网络层运算、模型训练方法、装置及设备 | |
| CN117456273A (zh) | 一种尘肺ct图像分类方法、装置、计算机设备和储存介质 | |
| CN118072163A (zh) | 基于神经网络的国土耕地违规占用高精度检测方法及系统 | |
| CN116758419A (zh) | 针对遥感图像的多尺度目标检测方法、装置和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |