CN114861761A - 一种基于孪生网络特征与几何验证的回环检测方法 - Google Patents

一种基于孪生网络特征与几何验证的回环检测方法 Download PDF

Info

Publication number
CN114861761A
CN114861761A CN202210357834.2A CN202210357834A CN114861761A CN 114861761 A CN114861761 A CN 114861761A CN 202210357834 A CN202210357834 A CN 202210357834A CN 114861761 A CN114861761 A CN 114861761A
Authority
CN
China
Prior art keywords
image
images
loop
feature
twin network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210357834.2A
Other languages
English (en)
Other versions
CN114861761B (zh
Inventor
张晓峰
陈哲
欧垚君
王梅
丁红
陶秦
施正阳
魏东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong University
Original Assignee
Nantong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong University filed Critical Nantong University
Priority to CN202210357834.2A priority Critical patent/CN114861761B/zh
Publication of CN114861761A publication Critical patent/CN114861761A/zh
Application granted granted Critical
Publication of CN114861761B publication Critical patent/CN114861761B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于孪生网络特征与几何验证的回环检测方法,属于计算机视觉图像技术领域,解决了传统方法在光照和视点变化下准确率较低的技术问题。其技术方案为:包括以下步骤:步骤1、获取输入的RGB‑D图像;步骤2、获取多维特征信息;步骤3、提取图像全局特征;步骤4、计算图像间的相似度得分,根据相似度得分得到回环候图像;步骤5、采用几何一致性检验对两幅图像的描述符进行匹配;步骤6、采用随机采样一致性算法消除误匹配;步骤7、采用时间一致性检验进一步进行误匹配的剔除。本发明的有益效果为:本发明的孪生网络特征具有光照不变性,几何验证又能获得图像间的几何拓扑信息,提高了回环检测的精确率和召回率。

Description

一种基于孪生网络特征与几何验证的回环检测方法
技术领域
本发明涉及计算机视觉图像技术领域,尤其涉及一种基于孪生网络特征与几何验证的回环检测方法。
背景技术
同步定位与建图(Simultaneous Localization and Mapping,SLAM)[1],它的主要功能是机器人在没有获得先验环境信息的情况下,通过建立机器人周围的环境地图,使机器人能够在未知环境中自主导航,并在地图上实现重定位。在定位过程中,机器人必须正确识别之前被访问过的地方,称为真回环。这种识别是由SLAM系统的一个组件(称为回环检测)来完成的。真正的回环检测通过减少机器人运动引起的地图累积漂移,帮助SLAM系统重定位并提高建图精度。
检测回环的一般方法是将新位置与以前访问过的位置进行比较。但是,在现实世界中,由于光照、尺度、视点等因素的影响,通常导致同一位置场景具有不同的视觉表达,产生感知混叠(假阳性)或者感知变异(假阴性)。由于感知混叠和感知变异往往会影响在回环检测任务中寻找正确的场景对应关系,从而导致错误匹配,降低了回环检测的准确性,最终影响视觉SLAM系统的性能。一个好的回环检测方法需要解决这两个问题,才能检测出更正确的环路。
对于提高回环检测的鲁棒性,国内外的学者已经做了大量的研究。通常,回环检测方法可大致分为两类:基于手工特征方法和基于深度学习特征方法。大多数最先进的基于手工特征的方法使用词袋(BOW)模型[2],词袋模型作为传统的视觉SLAM回环检测方法,使用局部图像特征,如SIFT或SURF来构建BOW描述符。并将图像用单个数值矢量来表示,通过计算两个矢量之间的相似度来度量两张图像的相似性,可以有效地进行环路检测;然而,这类方法的缺点是对光照变化和目标遮挡缺乏鲁棒性,且过度依赖于纹理信息,容易产生感知混淆问题。当面对真实场景,例如,光照的变化和无纹理的对象等情况时,可能会大大降低这些描述符的性能。基于深度学习特征方法有很多,例如,为了保持光照变化的不变性,方法[3]中通过增加了一条额外的输入通道来获取深度信息,构造了RGB-D数据集,然后将数据集传入到网络进行训练,将测试集传入到训练好的模型得到鲁棒的全局描述符进行回环检测。其对于环境的适度变化是鲁棒的,可以提高回环检测、位置识别的性能;然而,该方法只使用RGB-D传感器的原始RGB图像数据和深度图像数据,这些图像对光照和视点的变化非常敏感,在外观和视点发生严重变化的情况下,可能会导致回环检测精度的下降。且该方法提取的全局描述符维度较高、耗时较长,无法满足闭环检测的实时性要求。
如何解决上述技术问题为本发明面临的课题。
发明内容
为了解决以上技术问题,本发明的目的在于对提供一种基于孪生网络特征与几何验证的回环检测方法;通过语义特征帮助机器人判断是否回到之前访问过的地方,提高了回环检测的准确率,减少位姿漂移误差,进一步提升定位的精度,且大大减少了运算量,在实时性方面表现的更加优秀。
本发明的发明思想为:本发明是通过获取机器人摄像机采集的RGB-D图像;并根据所述RGB-D图像获得图像的多维特征,包括图像的强度特征、深度特征和边缘特征;根据所述多维特征信息通过孪生卷积神经网络提取图像全局特征;计算当前输入图像全局特征与所有已输入的图像全局特征之间的欧式距离,并定义成对帧的相似度得分,将相似度得分大于阈值的图像作为回环候选图像;采用几何验证的方法,对两幅图像的描述符进行匹配;采用随机采样一致性算法求解基本矩阵以剔除误匹配,如果基本矩阵计算成功,则选择内点数最多的作为回环候选;采用时间一致性检验,若当前输入图像之后的连续三帧图像均满足阈值条件,则认为当前输入图像与回环候选图像构成回环。基于孪生网络特征与几何验证的回环检测方法,克服了传统的基于人工特征的回环检测方法准确率低和光照敏感等问题。在回环检测过程中,孪生网络特征可以处理图像外观变化和光照的场景,采用几何验证又可以获得图像间的几何拓扑信息,提高了回环检测的精确率和召回率。
本发明是通过以下措施实现的,一种基于孪生网络特征与几何验证的回环检测方法,包含以下步骤:
步骤(1)、获取机器人摄像机采集的RGB-D图像;
步骤(2)、根据所述RGB-D图像获得如下多维特征信息:
将RGB图像转化为灰度图,获取图像的强度特征;根据深度图获取图像的深度特征;基于灰度图像计算边缘特征,获得图像的边缘特征信息;
步骤(3)、根据所述多维特征信息通过孪生卷积神经网络提取图像全局特征;
步骤(4)、计算当前输入图像全局特征与所有已输入的图像全局特征之间的欧式距离,并定义成对帧的相似度得分,将相似度得分大于阈值的图像作为回环候选图像。
步骤(5)、采用几何验证的方法判断当前图像及其对应的回环候选图像是否构成真正的回环。首先对输入图像与得到的回环候选图像分别提取ORB关键点和局部差分二进制描述符,然后对两幅图像的描述符进行匹配;
步骤(6)、采用随机采样一致性算法求解基本矩阵以剔除误匹配,如果基本矩阵计算成功,则选择内点数最多的作为回环候选;
步骤(7)、进行时间一致性检验,若当前输入图像之后的连续三帧图像均满足步骤(6)的阈值条件,则认为当前输入图像与回环候选图像构成一组回环。
进一步地,在上述方法中,所述步骤(2)中,根据所述RGB-D图像获得多维特征信息具体为:
步骤(2-1)、图像强度:表示单通道图像像素的强度(值的大小)。在灰度图像中,它是图像的灰度。因此,RGB图像的强度特征可以通过将原始彩色图像转换为灰度图像获得;
步骤(2-2)、图像的深度信息可以直接根据深度图获得,然而,TUM数据集的原始深度图像存在噪声和许多孔洞,通常只提供一些点的深度信息,需要对其进行填充才能获得完整且可用的深度图像。为了解决这个问题,我们使用交叉双边滤波方法,对原始深度图像进行深度信息填充;
步骤(2-3)、对于边缘特征,在灰度图像的基础上通过Sobel边缘检测算子计算。获取图像的边缘轮廓信息,图像的边缘特征在光照变化时是不变的;
进一步地,在上述方法中,所述步骤(3)中,根据所述多维特征信息通过孪生卷积神经网络提取图像全局特征具体为:
步骤(3-1)、我们提出了一种新的孪生网络进行训练,图3说明了我们提出的孪生网络架构的详细信息。它的每个分支结构都是基于AlexNet设计的,在严重的外观变化下比AlexNet表现更好。AlexNet是ImageNet 2012的冠军模型,与之前的模型相比,它在很大程度上提高了分类的精度,并且网络复杂度低和计算量小。AlexNet具有八层网络结构体系,包括五个卷积层和三个全连接层。然而,由于全连接层的计算量大,且在位置识别等任务中的性能不如卷积层,我们只提取第一个能够减少特征位置对分类问题影响的全连层输出作为输出特征。这可以提取并表征语义信息,增强特征对视点变化的鲁棒性;
步骤(3-2)、根据步骤(2)得到的图像相应特征信息,选取两帧图像的特征信息,根据每帧图像的特征信息构造一个H×W×3的数组用于存储相应的特征描述符,即强度、深度和梯度。其中,H和W分别表示图像的高度和宽度,N表示相应特征信息的维度。然后,将该特征向量调整为224*224*3大小,并传入到孪生网络,经过卷积池化得到图像的特征图,再将两个通道特征进行一次全连接,即可得到图像的全局特征;
步骤(3-3)、将高维特征向量转入到孪生网络获取全局特征,对于第k个输入样本对,假设全连接层输出的特征向量为fk={fk1,fk2},所述孪生网络的损失函数为:
Figure BDA0003582576030000041
其中,N为样本对的数量,m表示阈值是要在损失函数中学习的参数,yk是第k对样本的标签,dk=‖fk1-fk22表示特征向量之间的欧式距。yi=1为正样本,表示fk1和fk2来自同一类即两张图片相似。yi=0表示负样本,这意味着fk1和fk2来自不同类即两张图片相似度较小。因为对比损失函数可以表示两张图像之间的匹配程度,所以我们将其用于模型的训练。
进一步地,在所述步骤(4)中,计算当前输入图像全局特征与所有已输入的图像全局特征之间的欧式距离,并定义成对帧的相似度得分具体为:
步骤(4-1)、计算当前输入图像全局特征与所有已输入的图像全局特征之间的欧式距离,计算公式如下:
Figure BDA0003582576030000042
其中,D(Ii,Ij)是图像Ii和Ij之间的距离,fi和fj分别表示图像Ii和Ij提取的全局特征向量;||fi||2表示向量fi的L2范数。然后,图像Ii和Ij之间的相似度定义为:
Figure BDA0003582576030000043
其中S(Ii,Ij)表示两个全局特征向量之间的相似度。为了方便计算,我们使用归一化距离来获得相似度得分。
进一步地,在上述方法中,在所述步骤(4-1)中,将RGB-D当前图像视为查询图像,将所有已输入的图像视为数据库图像。在机器人执行环路闭合检测任务时,由于机器人捕获的图像为连续图像,相邻图像间有较高的相似性,可能导致环路闭合检测错误。为了避免相邻图像成为环路闭合候选帧,我们引入了一个约束来限制查询图像匹配范围。在查询图像的匹配范围内具体为:
R=N-f·T
其中,R表示查询图像的匹配范围;N表示在查询图像之前的所有图像的集合;f为相机的帧率;T为预定义参数;f·T为在当前图像之前的f·T帧图像的集合。通过加入这个约束,可以避免环路闭合检测假阳性问题。
若数据库图像在查询图像的匹配范围R内,则根据这两张图像分别对应的全局特征计算这两张图像之间的相似度。
进一步地,在上述方法中,在所述步骤(5)中,对输入图像与得到的回环候选图像分别提取ORB关键点和局部差分二进制描述符具体为:
对于LDB描述符的提取,首先提取查询图像Ii与回环候选图像In的ORB特征点,并以每个特征点为中心裁剪出大小为s×s的图像块。然后,将图像块分割为c×c个大小相等的网格单元,分别计算每个网格单元的平均强度Iavg和梯度dx,dy。对于每个图像块中的任意两个网格单元m和n按如下公式执行二进制编码,得到的二进制编码为特征点k的LDB描述符。
Figure BDA0003582576030000051
式中,f(m)和f(n)分别表示网格单元m和n的平均强度Iavg和梯度dx和dy的值,将图像块划分为c×c个网格单元,并将所有分区产生的二进制字符串连接起来,形成256比特的LDB描述符,对回环候选图像In采用上述相同的方法提取图像ORB特征点及LDB描述符。
进一步地,在上述方法中,在所述步骤(5)中,对两幅图像的描述符进行匹配具体为:
采用二进制比率测试来匹配LDB局部描述符Ii和In,二进制比率测试阈值ε定义如下:
Figure BDA0003582576030000052
其中,
Figure BDA0003582576030000053
是查询图像Ii的LDB描述符,
Figure BDA0003582576030000054
Figure BDA0003582576030000055
是基于快速近似最近邻(FLANN)算法在候选图像In中找到的两个与
Figure BDA0003582576030000056
距离最接近的描述符。H(·)表示汉明距离,ε是距离的比率。比ε低的描述符匹配将被视为好的特征匹配,并被送入RANSAC计算基本矩阵T以剔除误匹配。如果基本矩阵T计算成功,则选择内点数最多的作为回环候选图像。
进一步地,在上述方法中,采用汉明距离对输入图像Ii与闭环候选图像In的LDB描述符进行匹配具体为:
Figure BDA0003582576030000061
其中,f1,f2表示两个LDB描述符,fi 1表述描述符f1的第i位,fi 2表述描述符f2的第i位。由于所使用的LDB描述符是只有256位的二进制描述符,并且可以通过汉明距离进行有效匹配,因此所提出的几何验证方法需要较低的存储消耗和计算成本。
与现有技术相比,本发明的有益效果在于:
1、本发明使用孪生网络提取图像全局特征,并结合几何验证,设计了一种高精确率的回环检测算法。本发明使用传感器提供的纹理和深度信息,并且还计算图像的边缘特征信息,将这些特征信息进行早期的融合并传入到孪生网络进行学习,使得特征对图像光照变化的场景有更好的鲁棒性。
2、本发明采用几何验证的方式,判断回环候选图像与当前输入图像之间是否构成回环。几何验证提取LDB描述符来进行图像间的特征匹配,LDB描述符为256位的二进制描述符,占用内存空间小,计算成本低,既能验证两幅图像是否构成回环,也能获得图像间的几何拓扑关系。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。
图1为本发明的整体结构流程图。
图2为本发明训练数据集TUM中的图像;其中,(a)为本发明的原始RGB图像;(b)为本发明的原始深度图像;(c)表示本发明的强度特征;(d)表示本发明中深度特征;(e)表示本发明中边缘特征。
图3为本发明中训练全局特征的孪生网络架构图。
图4为本发明中不同方法在KITTI数据集上的准确召回率曲线图;其中,(a)为本发明在KITTI00数据集上的精确召回率曲线图;(b)为本发明在KITTI05数据集上的精确召回率曲线图。
图5为本发明中KITTI00数据集中每个关键帧对应的摄像机轨迹;(a)为本发明KITTI00数据集回环检测的地面真实轨迹;(b)为本发明在KITTI00数据集上的回环检测结果。
图6为本发明中KITTI05数据集中每个关键帧对应的摄像机轨迹图;(a)为本发明中KITTI05数据集回环检测的地面真实轨迹;(b)为本发明在KITTI05数据集上的回环检测结果。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1至图6所示,本实施例中,本发明的实验使用PyTorch框架来实现孪生网络,并在GeForce RTX 2070s GPU上进行训练和测试。实验过程中,将本发明的模型与FabMap方法进行比较。在TUM开放数据集上进行网络训练。在KITTI00以及KITTI05数据集上评估了所提出的方法。
1、训练和测试
TUM公共数据集是由手持式Kinect相机在各种室内环境中收集的,包含不同的结构和纹理数据,并且提供了许多的RGB-D序列及其地面真实轨迹。所以,本发明的网络使用TUM数据集进行训练。本发明在数据集中使用了约6000张图像对进行训练,选取了约1000张图像对进行了验证。
为了验证提出方法的性能,本发明使用KITTI数据集进行验证及测试。KITTI数据集由安装在移动汽车上的摄像头在不同的挑战性环境中采集的,例如,光照条件的不同、视点变化以及动态遮挡等。并且,KITTI数据集提供了许多的回环示例以及传感器的真实轨迹,便于检测不同方法下的回环效果,可以通过改变相似度阈值得到精确率召回率曲线。
2、实验结果
为了证明该方法的精确性,本发明用KITTI数据集对该方法进行了验证和测试。精确率和召回率是评估环路闭合检测任务的重要性能指标,精确率是指算法所检测的回环中有多少真正回环的概率,而召回率是指在所有真实回环中被正确检测出来的概率。精确率-召回率定义为:
Figure BDA0003582576030000071
Figure BDA0003582576030000081
其中TP是真阳性的数目,指示检测到的环路闭合是根据地面事实的真环路。FP是假阳性的数量,表示这些标识没有标记为真正回环,但是算法检测其为回环。FN是假阴性的数量,表示算法未检测出的真回环的数量。
以下对本发明提出的方法进行评估。
将本发明的方法与仅使用RGB图像全局特征提取方法(RGB方法)和FabMap方法进行了比较,通过调整相似度得分的阈值,绘制了这些方法在KITTI数据集上的准确率和召回率曲线。如图4所示,可以发现,由于将全局特征与几何验证相结合,本方法比其他方法表现得更好,在提高准确率的同时召回率也有一定的提高。
为了进一步评估我们方法的有效性,如图5,6所示,在第一幅图中绘制了图像的每个关键帧对应摄像机的运动轨迹。同时,在图上用粗圆圈标记发生回环的关键帧点,每个圆圈指的是一个环路闭合对。第二幅图为我们的方法得到的环路闭合对。可以发现本发明的方法大幅提升了回环候选帧的精确率,同时使用的几何验证和时间一致性检验机制又减少了大部分误匹配,使回环检测精度进一步提升。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (9)

1.一种基于孪生网络特征与几何验证的回环检测方法,其特征在于:包括以下步骤:
步骤(1)、获取机器人摄像机采集的RGB-D图像;
步骤(2)、根据所述RGB-D图像获得如下多维特征信息;
将RGB图像转化为灰度图,获取图像的强度特征;根据深度图获取图像的深度特征;基于灰度图像计算边缘特征,获得图像的边缘特征信息;
步骤(3)、根据所述多维特征信息通过孪生网络提取图像全局特征;
步骤(4)、计算当前输入图像全局特征与所有已输入的图像全局特征之间的欧式距离,并定义成对帧的相似度得分,将相似度得分大于阈值的图像作为回环候选图像;
步骤(5)、采用几何验证的方法判断当前图像及其对应的回环候选图像是否构成真正的回环,首先对输入图像与得到的回环候选图像分别提取ORB关键点和局部差分二进制描述符,然后对两幅图像的描述符进行匹配;
步骤(6)、采用随机采样一致性算法求解基本矩阵以剔除误匹配,如果基本矩阵计算成功,则选择内点数最多的作为回环候选;
步骤(7)、进行时间一致性检验,若当前输入图像之后的连续三帧图像均满足步骤(6)的阈值条件,则认为当前输入图像与回环候选图像构成回环。
2.根据权利要求1所述的一种基于孪生网络特征与几何验证的回环检测方法,其特征在于,所述步骤(2)具体包括以下步骤:
步骤(2-1)、图像强度:表示单通道图像像素的强度,在灰度图像中,它是图像的灰度,RGB图像的强度特征通过将原始彩色图像转换为灰度图像获得;
步骤(2-2)、图像的深度信息根据深度图获得,TUM数据集的原始深度图像存在噪声和许多孔洞,提供一些点的深度信息,对其进行填充获得完整且可用的深度图像,使用交叉双边滤波方法,对原始深度图像进行深度信息填充;
步骤(2-3)、对于边缘特征,在灰度图像的基础上通过Sobel边缘检测算子计算,获取图像的边缘轮廓信息,图像的边缘特征在光照变化时是不变的。
3.如权利要求1所述的一种基于孪生网络特征与几何验证的回环检测方法,其特征在于:所述步骤(3)具体包括如下步骤:
步骤(3-1)、每个分支结构是基于AlexNet设计的,AlexNet具有八层网络结构体系,包括五个卷积层和三个全连接层,由于全连接层的计算量大,且在位置识别中的性能不如卷积层,提取第一个能够减少特征位置对分类问题影响的全连层输出作为输出特征,提取并表征语义信息,增强特征对视点变化的鲁棒性;
步骤(3-2)、根据步骤(2)得到的图像相应特征信息,选取两帧图像的特征信息,根据每帧图像的特征信息构造一个H×W×3的数组用于存储相应的特征描述符,即强度、深度和梯度;其中,H和W分别表示图像的高度和宽度,3表示相应特征信息的维度;将该特征向量调整为224*224*3大小,并传入到孪生网络,经过卷积池化得到图像的特征图,再将两个通道特征进行一次全连接,得到图像的全局特征;
步骤(3-3)、将特征向量传入到孪生网络获取全局特征,对于第k个输入样本对,假设全连接层输出的特征向量为fk={fk1,fk2},所述孪生网络的损失函数为:
Figure FDA0003582576020000021
其中,N为样本对的数量,m表示阈值是要在损失函数中学习的参数,yk是第k对样本的标签,dk=‖fk1-fk22表示特征向量之间的欧式距,yi=1为正样本,表示fk1和fk2来自同一类即两张图片相似;yi=0表示负样本,fk1和fk2来自不同类,两张图片相似度较小,对比损失函数表示两张图像之间的匹配程度,将其用于模型的训练。
4.如权利要求1所述的一种基于孪生网络特征与几何验证的回环检测方法,其特征在于,所述步骤(4)具体包括以下步骤:
步骤(4-1)、计算当前输入图像全局特征与所有已输入的图像全局特征之间的欧式距离,计算公式如下:
Figure FDA0003582576020000022
其中,D(Ii,Ij)是图像Ii和Ij之间的距离,fi和fj分别表示图像Ii和Ij提取的全局特征向量;||fi||2表示向量fi的L2范数,图像Ii和Ij之间的相似度定义为:
Figure FDA0003582576020000023
其中S(Ii,Ij)表示两个全局特征向量之间的相似度,使用归一化距离获得相似度得分;
步骤(4-2)、遍历所有已输入的图像,得到当前图像全局特征与所有已输入图像全局特征之间的欧式距离和匹配相似度得分,如果图像间的相似度等于或者超过指定阈值,将其作为回环候选图像。
5.如权利要求4所述的一种基于孪生网络特征与几何验证的回环检测方法,其特征在于,所述骤(4-1)具体包括以下步骤:
在机器人执行环路闭合检测任务时,由于机器人捕获的图像为连续图像,相邻图像间有较高的相似性,导致环路闭合检测错误;将摄像机当前捕获的图像视为查询图像,将先前捕获的图像视为数据库图像,为了避免相邻图像成为环路闭合候选帧,引入了一个约束来限制查询图像匹配范围,在查询图像的匹配范围内具体为:
R=N-f·T
其中,R表示查询图像的匹配范围;N表示在查询图像之前的所有图像的集合;f为相机的帧率;T为预定义参数;f·T为在当前图像之前的f·T帧图像的集合,通过加入这个约束,避免环路闭合检测假阳性问题;
若数据库图像在查询图像的匹配范围R内,根据这两张图像分别对应的全局特征计算这两张图像之间的相似度。
6.如权利要求1所述的一种基于孪生网络特征与几何验证的回环检测方法,其特征在于,所述骤(5)具体包括以下内容:
对于LDB描述符的提取,首先提取查询图像Ii与回环候选图像In的ORB特征点,并以每个特征点为中心裁剪出大小为s×s的图像块,将图像块分割为c×c个大小相等的网格单元,分别计算每个网格单元的平均强度Iavg和梯度dx,dy;对于每个图像块中的任意两个网格单元m和n执行二进制测试,得到的二进制编码为ORB特征点的LDB描述符。
7.根据权利要求6所述的一种基于孪生网络特征和几何验证的回环检测方法,其特征在于,对于每个图像块中的任意两个网格单元m和n按如下公式执行二进制编码:
Figure FDA0003582576020000031
式中,f(m)和f(n)分别表示网格单元m和n的平均强度Iavg和梯度dx和dy的值,将图像块划分为c×c个网格单元,并将所有分区产生的二进制字符串连接起来,形成256比特的LDB描述符,对回环候选图像In采用上述相同的方法提取图像ORB特征点及LDB描述符。
8.根据权利要求7所述的一种基于孪生网络特征和几何验证的回环检测方法,其特征在于,所述骤(6)具体内容为:
采用二进制比率测试匹配LDB局部描述符Ii和In,二进制比率测试阈值ε定义如下:
Figure FDA0003582576020000041
其中,fi a是查询图像Ii的LDB描述符,
Figure FDA0003582576020000042
Figure FDA0003582576020000043
是基于快速近似最近邻(FLANN)算法在候选图像In中找到的两个与fi a距离最接近的描述符;H(·)表示汉明距离,ε是距离的比率,比ε低的描述符匹配将被视为好的特征匹配,并被送入RANSAC计算基本矩阵T以剔除误匹配,如果基本矩阵T计算成功,则选择内点数最多的作为回环候选图像。
9.根据权利要求8所述的一种基于孪生网络特征和几何验证的回环检测方法,其特征在于,采用汉明距离对输入图像Ii与回环候选图像In的LDB描述符进行匹配具体为:
Figure FDA0003582576020000044
其中,f1,f2表示两个LDB描述符,fi 1表述描述符f1的第i位,fi 2表述描述符f2的第i位。
CN202210357834.2A 2022-04-06 2022-04-06 一种基于孪生网络特征与几何验证的回环检测方法 Active CN114861761B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210357834.2A CN114861761B (zh) 2022-04-06 2022-04-06 一种基于孪生网络特征与几何验证的回环检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210357834.2A CN114861761B (zh) 2022-04-06 2022-04-06 一种基于孪生网络特征与几何验证的回环检测方法

Publications (2)

Publication Number Publication Date
CN114861761A true CN114861761A (zh) 2022-08-05
CN114861761B CN114861761B (zh) 2024-09-20

Family

ID=82629375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210357834.2A Active CN114861761B (zh) 2022-04-06 2022-04-06 一种基于孪生网络特征与几何验证的回环检测方法

Country Status (1)

Country Link
CN (1) CN114861761B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115631319A (zh) * 2022-11-02 2023-01-20 北京科技大学 一种基于交叉注意力网络的回环检测方法
CN117173247A (zh) * 2023-11-02 2023-12-05 中国海洋大学 基于2D激光雷达与LightGBM的室外定位与构图方法及系统
CN118505746A (zh) * 2024-05-15 2024-08-16 安徽工程大学 一种基于深度学习的视觉低光闭环检测算法、存储介质及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113988269A (zh) * 2021-11-05 2022-01-28 南通大学 一种基于改进孪生网络的回环检测及优化方法
CN114067128A (zh) * 2021-12-21 2022-02-18 南通大学 一种基于语义特征的slam回环检测方法
WO2022041596A1 (zh) * 2020-08-31 2022-03-03 同济人工智能研究院(苏州)有限公司 一种适用于室内动态环境的视觉slam方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022041596A1 (zh) * 2020-08-31 2022-03-03 同济人工智能研究院(苏州)有限公司 一种适用于室内动态环境的视觉slam方法
CN113988269A (zh) * 2021-11-05 2022-01-28 南通大学 一种基于改进孪生网络的回环检测及优化方法
CN114067128A (zh) * 2021-12-21 2022-02-18 南通大学 一种基于语义特征的slam回环检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡年宗;伍世虔;张亦明;: "基于卷积神经网络的SLAM回环检测算法研究", 计算机仿真, no. 05, 15 May 2020 (2020-05-15) *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115631319A (zh) * 2022-11-02 2023-01-20 北京科技大学 一种基于交叉注意力网络的回环检测方法
CN117173247A (zh) * 2023-11-02 2023-12-05 中国海洋大学 基于2D激光雷达与LightGBM的室外定位与构图方法及系统
CN117173247B (zh) * 2023-11-02 2024-02-02 中国海洋大学 基于2D激光雷达与LightGBM的室外定位与构图方法及系统
CN118505746A (zh) * 2024-05-15 2024-08-16 安徽工程大学 一种基于深度学习的视觉低光闭环检测算法、存储介质及设备

Also Published As

Publication number Publication date
CN114861761B (zh) 2024-09-20

Similar Documents

Publication Publication Date Title
CN111553193B (zh) 一种基于轻量级深层神经网络的视觉slam闭环检测方法
CN114861761B (zh) 一种基于孪生网络特征与几何验证的回环检测方法
CN111259786B (zh) 一种基于视频的外观和运动信息同步增强的行人重识别方法
CN111126202A (zh) 基于空洞特征金字塔网络的光学遥感图像目标检测方法
CN110781790A (zh) 基于卷积神经网络与vlad的视觉slam闭环检测方法
CN104200495A (zh) 一种视频监控中的多目标跟踪方法
CN108921019A (zh) 一种基于GEI和TripletLoss-DenseNet的步态识别方法
CN109087337B (zh) 基于分层卷积特征的长时间目标跟踪方法及系统
CN108960142B (zh) 基于全局特征损失函数的行人再识别方法
Liu et al. Two-stage underwater object detection network using swin transformer
CN114926742B (zh) 一种基于二阶注意力机制的回环检测及优化方法
CN115830531A (zh) 一种基于残差多通道注意力多特征融合的行人重识别方法
CN108564040A (zh) 一种基于深度卷积特征的指纹活性检测方法
CN110659680B (zh) 一种基于多尺度卷积的图像patch匹配方法
Baoyuan et al. Research on object detection method based on FF-YOLO for complex scenes
Mu et al. Salient object detection in low contrast images via global convolution and boundary refinement
CN113011359B (zh) 一种基于图像的同时检测平面结构和生成平面描述的方法及应用
CN110751005B (zh) 融合深度感知特征和核极限学习机的行人检测方法
CN114743257A (zh) 图像目标行为的检测识别方法
CN117893737A (zh) 基于YOLOv5-LED的水母识别分类方法
CN117079272A (zh) 一种结合手工特征和学习特征的弹底窝痕特征识别方法
CN114140524B (zh) 一种多尺度特征融合的闭环检测系统及方法
CN115100428A (zh) 一种利用上下文感知的目标检测方法
CN115457079A (zh) 一种用于目标人物的跟踪方法
CN113420608A (zh) 一种基于密集时空图卷积网络的人体异常行为识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant