CN111860297A - 一种应用于室内固定空间的slam回环检测方法 - Google Patents

一种应用于室内固定空间的slam回环检测方法 Download PDF

Info

Publication number
CN111860297A
CN111860297A CN202010691982.9A CN202010691982A CN111860297A CN 111860297 A CN111860297 A CN 111860297A CN 202010691982 A CN202010691982 A CN 202010691982A CN 111860297 A CN111860297 A CN 111860297A
Authority
CN
China
Prior art keywords
target
picture
slam
semantic information
fixed space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010691982.9A
Other languages
English (en)
Inventor
尚玘
张宏怡
陈宁
张城俊
林映泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University of Technology
Original Assignee
Xiamen University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University of Technology filed Critical Xiamen University of Technology
Priority to CN202010691982.9A priority Critical patent/CN111860297A/zh
Publication of CN111860297A publication Critical patent/CN111860297A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种应用于室内固定空间的SLAM回环检测方法，属于计算机视觉实时定位与地图构建(V‑SLAM)技术领域，包括如下步骤：步骤1，利用机器人在移动过程中采集室内环境的图片；步骤2，采用YOLO V3目标检测网络提取所述图片的语义信息；步骤3，将该图片的语义信息与各历史关键帧进行比对，若相似度高于设定阈值则判定为回环，舍弃该图片的语义信息，否则将该图片的语义信息作为历史关键帧进行保存。此种回环检测方法通过计算当前帧与历史关键帧的相似度，使得机器人再一次通过同一场景时能够迅速做出判断，完成对地图的修正，减少累积误差。

Description

一种应用于室内固定空间的SLAM回环检测方法
技术领域
本发明属于计算机视觉实时定位与地图构建(V-SLAM)技术领域，特别涉及一种应用于室内固定空间的SLAM回环检测方法。
背景技术
机器人在未知环境下通过传感器获取外部环境信息，实现位姿估计并增量式地构建环境模型，进而确立自身的全局位置的过程称为机器人实时定位与地图构建(Simultaneous Localization and Mapping)。[1]
闭环检测应用在机器人建图环节，新采集到一张图像，判断它是否在图像序列中出现过，即确定机器人是否进入某同一历史地点，或者在特征点配准丢失后重新获取一个初始位置。[2]
闭环检测(也称回环检测)是SLAM中的关键模块，目的是减少构建环境地图时的累积误差。回环检测对SLAM系统意义重大，它关系到机器人估计的轨迹和地图在长时间下的正确性。另一方面，由于回环检测提供了当前数据与所有历史数据的关联，在跟踪算法丢失后，我们还可以利用回环检测进行重定位。[3]闭环检测实质上是场景的识别问题，传统的视觉SLAM中回环检测的方法视觉词带模型(Bag of Words，BOW)，它通过收集大量的图片，提取图片中的特征点，然后通过K-means的方法聚类，把特征点分成K个类别，建立一个特征点集合的字典。将一张图片输入，提取图片的特征点，然后查阅字典，该特征点属于哪一类别，以向量的形式的输出。它使用字典中的聚类特征，描述图像，进而判断两张图片的相似程度。[4]
词袋模型作为回环检测的手段被广泛应用的原因主要是基于特征点的SLAM是目前研宄的主流，相应的利用特征点进行运算的词袋模型就成为了首选，毕竟系统己经在前端提取过一遍特征点，此时再利用一次进行回环检测可以达到事半功倍的效果。[5]然而，词袋模型的核心是通过聚类传统特征构成的字典进行相应帧的选取，对于光照遮挡等复杂环境仍容易出现误匹配，而且词袋模型的生成需要大量的图片进行离线训练。[6]而且，从字典对图像的描述上来看，词袋模型只强调单词的有无，而忽略其空间位置的相对关系。其次，字典建立过程中特征点的聚类不具备实际意义，研究者无法从聚类结果来判断字典的好坏。
闭环检测实质是图像描述和相似度测量的问题。深度学习则采用神经网络学习图片深层次特征的方法，近年来随着深度学习技术的迅速发展，计算性能优越的GPU不断研发，计算机的运算速度大幅提高，嵌入式GPU在SLAM系统上的应用日益广泛[7]，越来越多的研究者开始尝试将深度学习应用于SLAM的闭环检测等环节。
文献[8]基于卷积神经网络描述图像特征，并用于视觉环路的闭环检测，其试验结果证实：基于CNN的图像表示在没有明显光照变换的环境中的表现与最先进的传统手工特征制作方式优势相当，并且与传统方式相比，提取速度有着很大的提高，在入门级GPU上，提取速度要快两个数量级。文献[9]同样使用深度神经网络的方法完成视觉SLAM系统的闭环检测，其训练了一个堆叠式自动编码器来学习特征表示，同时加以循环检测算法在相似度/差异矩阵中寻找闭环。但目前大多数深度学习与闭环检测的结合，仅仅是用深度学习替代传统的人工特征表示，并在已提取特征点的基础上计算相似度。而人是根据比对图片中出现的物体大小、数量、位置关系等诸多因素判断出是否是曾经经过的地方。那么机器人应该也能够像人一样，摆脱像素点，从更高的层次去实现回环检测。
词袋模型作为回环检测的手段被广泛应用的原因主要是基于特征点的SLAM是目前研宄的主流，相应的利用特征点进行运算的词袋模型就成为了首选，毕竟系统己经在前端提取过一遍特征点，此时再利用一次进行回环检测可以达到事半功倍的效果。[5]然而，深度学习与SLAM的结合也在视觉里程计、语义地图等方面体现得日益密切。最近深度学习在目标检测方向获得了飞速的进步。
目标检测是指获取图像中的不同物体，并确定它们的类别和位置。通过深度学习的物体检测方法对光照、遮挡等复杂环境拥有更强的鲁棒性。基于深度学习的目标检测算法受到SLAM研究者的青睐。文献[5]基于视觉传感器的语义SLAM系统设计中，视觉里程计环节采用物体检测的方法，利用已经获取每帧图片中可识别的物体的位置和类别，跳过特征点直接利用物体的位置和类别信息进行相邻图片之间的位姿计算。基于物体检测的视觉里程计。文献[6]将同样在视觉里程计环节引入加入目标检测算法，排除动态物体，从而提高SLAM前端的鲁棒性。可以看出，深度学习，尤其是目标检测技术与SLAM系统的结合已是当下的研究热点。
其中涉及的文献信息：
[1]余杰.基于ORB关键帧闭环检测算法的SLAM方法研究[D].2016.
[2]赵洋，刘国良，田国会，et al.基于深度学习的视觉SLAM综述[J].机器人,2017(6).
[3]高翔，张涛.视觉SLAM十四讲[M]
[4]Angeli A,Filliat D,Doncieux S,et al.Fast and Incremental Methodfor Loop-Closure Detection Using Bags of Visual Words[J].IEEE Transactions onRobotics,2008,24(5):1027-1037.
[5]刘震.基于语义地图视觉SLAM系统设计[D].2018.
[6]张威.基于物体语义信息的室内视觉SLAM研究[D].2019.
[7]Aldegheri S,Bombieri N,Farinelli A,et al.Data Flow ORB-SLAM forReal-time Performance on Embedded GPU Boards[C]//RSJ International Conferenceon Intelligent Robots and Systems(IROS).IEEE,2019.
[8]Hou Y,Zhang H,Zhou S.Convolutional Neural Network-Based ImageRepresentation for Visual Loop Closure Detection[J].2015.
[9]Gao X,Zhang T.Loop closure detection for visual SLAM systems usingdeep neural networks[C]//2015 34th Chinese Control Conference(CCC).IEEE,2015.
发明内容
本发明的目的，在于提供一种应用于室内固定空间的SLAM回环检测方法，通过计算当前帧与历史关键帧的相似度，使得机器人再一次通过同一场景时能够迅速做出判断，完成对地图的修正，减少累积误差。
为了达成上述目的，本发明的解决方案是：
一种应用于室内固定空间的SLAM回环检测方法，包括如下步骤：
步骤1，利用机器人在移动过程中采集室内环境的图片；
步骤2，采用YOLO V3目标检测网络提取所述图片的语义信息；
步骤3，将该图片的语义信息与各历史关键帧进行比对，若相似度高于设定阈值则判定为回环，舍弃该图片的语义信息，否则将该图片的语义信息作为历史关键帧进行保存。
上述步骤1中，机器人以固定的时间间隔拍摄室内环境的图片，从中选取用于比对的图片。
上述步骤2中，在将图片输入YOLO V3目标检测网络之前，先将图片调整到预定的尺度。
上述步骤2中，YOLO V3目标检测网络首先将图片划分为若干小格，每个小格负责中心点落在该小格的目标，并利用非极大值抑制来剔除不必要的目标框。
上述步骤2中，YOLO V3目标检测网络的损失函数L(O,o,C,c,l,g)的计算公式是：
L(O,o,C,c,l,g)＝λ1Lconf(o,c)+λ2Lcla(O,C)+λ3Lloc(l,g)
其中，Lconf(o,c)表示目标置信度损失，Lcla(O,C)表示目标分类损失，Lloc(l,g)表示目标定位偏移量损失，λ1,λ2,λ3是平衡系数。
上述目标置信度损失Lconf(o,c)的计算公式是：
Figure BDA0002589636070000041
Figure BDA0002589636070000042
其中，
Figure BDA0002589636070000043
表示预测目标矩形框i内是否存在目标的Sigmoid概率；oi∈{0，1}表示预测目标矩形框i中是否真实存在目标，0表示不存在，1表示存在。
上述目标分类损失Lcla(O,C)的计算公式是：
Figure BDA0002589636070000051
Figure BDA0002589636070000052
其中，Pos为正样本集，cla为所包含类别；Oij∈{0,1}表示预测目标矩形框i中是否真实存在第j类目标，0表示不存在，1表示存在；
Figure BDA0002589636070000053
表示预测目标矩形框i内存在第j类目标的Sigmoid概率。
上述目标定位偏移量损失Lloc(l,g)的计算公式是：
Figure BDA0002589636070000054
Figure BDA0002589636070000055
Figure BDA0002589636070000056
Figure BDA0002589636070000057
Figure BDA0002589636070000058
其中，Pos为正样本集；m为矩形框坐标参数，包括矩形框中心坐标(x,y)以及矩形框宽w和高h；
Figure BDA0002589636070000059
表示预测目标矩形框坐标偏移量，
Figure BDA00025896360700000510
表示与之匹配的GTbox与默认矩形框之间的坐标偏移量，(bx,by,bw,bh)为预测目标矩形框参数，(cx,cy,pw,ph)为默认矩形框参数，(gx,gy,gw,gh)为与之匹配的真实目标矩形框参数。
上述步骤3的具体过程是：
步骤31，对于步骤2提取的语义信息，以置信度为标准选取能够表征图片的物体信息，并据此对步骤2提取的语义信息进行筛选，得到筛选后的语义信息的字符串；
步骤32，将步骤31得到的字符串与历史关键帧的字符串进行对比，判断两张图片中所含物体种类及数量是否一致，一致则进入步骤33；
步骤33，计算图片中的每个物体在两幅图片的位置的交并比，并计算平均交并比，即相似度，若高于设定阈值则判定为回环，舍弃该图片的语义信息，否则将该图片的语义信息作为历史关键帧进行保存。
上述步骤31中，选取室内场景中的固定物体构建有效信息库，若选取的物体属于有效信息库时，才利用其表征图片。
采用上述方案后，本发明基于深度学习的目标检测技术设计了一种利用环境中物体和其相对位置关系进行回环检测的算法，并且对环境中的动态物体实现了低成本的、有效的屏蔽，使系统能够拥有物体级的环境感知能力，目标检测的结果可以应用于前端的视觉里程计以及后端的语义地图构建模块。
附图说明
图1是本发明的流程图；
图2是YOLO v3结构模型示意图；
图3是目标边界框的预测过程示意图；
图4是物体与相机相对位置俯瞰示意图；
图5是相机位于初始位置的拍摄图片；
图6是相机位于位置1的拍摄图片；
图7是相机位于位置1的拍摄图片与初始位置拍摄图片对应物体的交并比计算过程示意图；
图8是相机位于位置2的拍摄图片；
图9是相机位于位置2的拍摄图片与初始位置拍摄图片对应物体的交并比计算过程示意图。
具体实施方式
以下将结合附图，对本发明的技术方案及有益效果进行详细说明。
如图1所示，本发明提供一种应用于室内固定空间的SLAM回环检测方法，包括如下步骤：
步骤1，对室内进行拍照，得到用于检测的图片，具体来说，在机器人移动过程中，安装在机器人上的摄像头以固定的时间间隔拍摄当前环境的图片，然后对拍摄的图片进行筛选，筛选出适合用于比对的图片，一般来说，每5张选取一张用于比对；
步骤2，采用YOLO V3目标检测网络提取所述图片的语义信息，包括图片中每个物体的位置坐标、物体置信度、预测框位置等，以完成信息的预处理；
步骤3，将该图片的语义信息与各历史关键帧进行比对，若相似度高于设定阈值则判定为回环，舍弃该图片的语义信息，否则将该图片的语义信息作为历史关键帧进行保存。
下面就其中几点技术内容进行详细说明。
1、YOLO v3模型概述
YOLO v3是基于darknet网络架构实现的一种端对端的目标检测算法，通过把检测情况建模成回归，可以方便预测出物体的矩形框位置和归属，YOLO v3的检测流程主要由以下几个步骤组成。首先，为了满足网络架构的需求，将输入图像调整到指定的尺度。然后将图像分成许多小格，其中每个格子负责中心点落在该格子的目标。最后，为了防止多个格子对同一个物体进行响应，YOLO v3通过非极大值抑制来剔除不需要的结果。非极大值抑制首先获取置信度最高的目标框，然后计算其他目标框与该目标框的IOU，当IOU大于一定阈值剔除对应的目标框，最后即得到没有重叠且置信度最高的目标框。
1.2目标边界框的预测
YOLO v3网络在三个特征图中分别通过(4+1+c)*k个大小为1*1的卷积核进行卷积预测，k为预设边界框(bounding box prior)的个数(k默认取3)，c为预测目标的类别数，其中4k个参数负责预测目标边界框的偏移量，k个参数负责预测目标边界框内包含目标的概率，ck个参数负责预测这k个预设边界框对应c个目标类别的概率。
图3展示了目标边界框的预测过程。图中虚线矩形框为预设边界框，实线矩形框为通过网络预测的偏移量计算得到的预测边界框。其中cx，cy为预设边界框在特征图上的中心坐标，pw，ph为预设边界框在特征图上的宽和高，tx，ty，tw，th分别为网络预测的边界框中心偏移量以及宽高缩放比，bx，by，bw，bh为最终预测的目标边界框，从预设边界框到最终预测边界框的转换过程如图右侧公式所示，其中σ(x)函数是sigmoid函数，其目的是将预测偏移量缩放到0到1之间。
1.3损失函数的计算
YOLO v3的损失函数主要分为三个部分：目标定位偏移量损失Lloc(l,g)，目标置信度损失Lconf(o,c)以及目标分类损失Lcla(O,C)，其中λ1，λ2，λ3是平衡系数。
L(O,o,C,c,l,g)＝λ1Lconf(o,c)+λ2Lcla(O,C)+λ3Lloc(l,g)
1.3.1目标置信度损失
目标置信度可以理解为预测目标矩形框内存在目标的概率，目标置信度损失Lconf(o,c)采用的是二值交叉熵损失(Binary Cross Entropy)，其中oi∈{0，1}表示预测目标边界框i中是否真实存在目标，0表示不存在，1表示存在。
Figure BDA0002589636070000081
表示预测目标矩形框i内是否存在目标的Sigmoid概率(将预测值通过sigmoid函数得到)。
Figure BDA0002589636070000082
Figure BDA0002589636070000083
1.3.2目标分类损失
目标分类损失Lcla(O,C)同样采用的是二值交叉熵损失，其中Oij∈{0,1}表示预测目标边界框i中是否真实存在第j类目标，0表示不存在，1表示存在。
Figure BDA0002589636070000084
表示网络预测目标边界框i内存在第j类目标的Sigmoid概率(将预测值
Figure BDA0002589636070000085
通过sigmoid函数得到)。
Figure BDA0002589636070000086
Figure BDA0002589636070000087
1.3.3目标定位偏移量损失
目标定位偏移量损失Lloc(l,g)采用的是真实偏差值与预测偏差值差的平方和，其中
Figure BDA0002589636070000091
表示预测矩形框坐标偏移量，
Figure BDA0002589636070000092
表示与之匹配的GTbox与默认框之间的坐标偏移量，(bx,by,bw,bh)为预测的目标矩形框参数，(cx,cy,pw,ph)为默认矩形框参数，(gx,gy,gw,gh)为与之匹配的真实目标矩形框参数。
Figure BDA0002589636070000093
Figure BDA0002589636070000094
Figure BDA0002589636070000095
Figure BDA0002589636070000096
Figure BDA0002589636070000097
2、回环判断
对于一个算法而言，准确率与召回率是衡量算法优劣的重要指标。在SLAM系统中准确率指的是算法提取的所有回环中确实是真实回环的概况v。而召回率则是说，在所有真实回环中被正确检测出来的概率。SLAM系统对准确率的要求更高，因为假阳性的回环将在后端pose graph中添加根本错误的边，严重时会导致优化算法给出完全错误的结果。因此我们将相关的阈值设置为一个相对较高的水平，以保证回环检测的准确度。
回环判断主要包括特征预处理与相似度计算两个部分。
2.1语义信息预处理
摄像头采集的图形信息经过网络处理后，得到当前帧的语义信息，包括当前帧所含的物体类别、单个物体置信度、物体在图片中所处位置。选取置信度较高的物体信息以表征当前图片，以排除误识别造成的干扰，提高YOLO v3目标检测网络的容错率。将图片中的筛选后的语义信息构成字符串，通过对比字符串判断当前图片与历史关键帧的图片是否相同，来判断两种图片中所含物体种类及数量是否一致。
为防止网络将室内环境中动态物体，如人、动物等作为感兴趣区域，以消除当机器人再次回到原场景时，因动态物体消失所造成的观测误测，选取室内场景中的常见的20类固定物体构建有效信息库，即被检测物体为有效信息库中的物体之一时，才利用其来表征当前帧信息。有效信息库物体种类见表1。
表1有效信息库物体种类
chair table desk sofa bed
lamp trashcan Side table door bookshelf
keyboard computer Computer monitor fridge printer
tv laptop bench telephone Window
2.2相似度计算
若一致则再计算每个物体在两幅图片的位置的交并比，并计算平均交并比，即为相似度。(图4-图9为相似度计算模型，假设相机视角内存在ABC三个物体，图4为物体与相机移动过程中三次拍摄位置关系俯瞰示意，图5、6、8为相机分别于初始位置、位置1、位置2的拍摄图片，图7、9为相机于位置1、2拍摄图片与初始位置拍摄图片对应物体的交并比计算过程示意。)
2.3回环判定
若当前帧与历史关键帧的相似度大于阈值时，则判定为回环；否则存为历史关键帧。
以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (10)

1.一种应用于室内固定空间的SLAM回环检测方法，其特征在于包括如下步骤：
步骤1，利用机器人在移动过程中采集室内环境的图片；
步骤2，采用YOLO V3目标检测网络提取所述图片的语义信息；
步骤3，将该图片的语义信息与各历史关键帧进行比对，若相似度高于设定阈值则判定为回环，舍弃该图片的语义信息，否则将该图片的语义信息作为历史关键帧进行保存。
2.如权利要求1所述的一种应用于室内固定空间的SLAM回环检测方法，其特征在于：所述步骤1中，机器人以固定的时间间隔拍摄室内环境的图片，从中选取用于比对的图片。
3.如权利要求1所述的一种应用于室内固定空间的SLAM回环检测方法，其特征在于：所述步骤2中，在将图片输入YOLO V3目标检测网络之前，先将图片调整到预定的尺度。
4.如权利要求1所述的一种应用于室内固定空间的SLAM回环检测方法，其特征在于：所述步骤2中，YOLO V3目标检测网络首先将图片划分为若干小格，每个小格负责中心点落在该小格的目标，并利用非极大值抑制来剔除不必要的目标框。
5.如权利要求4所述的一种应用于室内固定空间的SLAM回环检测方法，其特征在于：所述步骤2中，YOLO V3目标检测网络的损失函数L(O,o,C,c,l,g)的计算公式是：
L(O,o,C,c,l,g)＝λ1Lconf(o,c)+λ2Lcla(O,C)+λ3Lloc(l,g)
其中，Lconf(o,c)表示目标置信度损失，Lcla(O,C)表示目标分类损失，Lloc(l,g)表示目标定位偏移量损失，λ1,λ2,λ3是平衡系数。
6.如权利要求5所述的一种应用于室内固定空间的SLAM回环检测方法，其特征在于：所述目标置信度损失Lconf(o,c)的计算公式是：
Figure FDA0002589636060000021
Figure FDA0002589636060000022
其中，
Figure FDA0002589636060000023
表示预测目标矩形框i内是否存在目标的Sigmoid概率；oi∈{0，1}表示预测目标矩形框i中是否真实存在目标，0表示不存在，1表示存在。
7.如权利要求5所述的一种应用于室内固定空间的SLAM回环检测方法，其特征在于：所述目标分类损失Lcla(O,C)的计算公式是：
Figure FDA0002589636060000024
Figure FDA0002589636060000025
其中，Pos为正样本集，cla为所包含类别；Oij∈{0,1}表示预测目标矩形框i中是否真实存在第j类目标，0表示不存在，1表示存在；
Figure FDA0002589636060000026
表示预测目标矩形框i内存在第j类目标的Sigmoid概率。
8.如权利要求5所述的一种应用于室内固定空间的SLAM回环检测方法，其特征在于：所述目标定位偏移量损失Lloc(l,g)的计算公式是：
Figure FDA0002589636060000027
Figure FDA0002589636060000028
Figure FDA0002589636060000029
Figure FDA00025896360600000210
Figure FDA00025896360600000211
其中，Pos为正样本集；m为矩形框坐标参数，包括矩形框中心坐标(x,y)以及矩形框宽w和高h；
Figure FDA00025896360600000212
表示预测目标矩形框坐标偏移量，
Figure FDA00025896360600000213
表示与之匹配的GTbox与默认矩形框之间的坐标偏移量，(bx,by,bw,bh)为预测目标矩形框参数，(cx,cy,pw,ph)为默认矩形框参数，(gx,gy,gw,gh)为与之匹配的真实目标矩形框参数。
9.如权利要求1所述的一种应用于室内固定空间的SLAM回环检测方法，其特征在于：所述步骤3的具体过程是：
步骤31，对于步骤2提取的语义信息，以置信度为标准选取能够表征图片的物体信息，并据此对步骤2提取的语义信息进行筛选，得到筛选后的语义信息的字符串；
步骤32，将步骤31得到的字符串与历史关键帧的字符串进行对比，判断两张图片中所含物体种类及数量是否一致，一致则进入步骤33；
步骤33，计算图片中的每个物体在两幅图片的位置的交并比，并计算平均交并比，即相似度，若高于设定阈值则判定为回环，舍弃该图片的语义信息，否则将该图片的语义信息作为历史关键帧进行保存。
10.如权利要求9所述的一种应用于室内固定空间的SLAM回环检测方法，其特征在于：所述步骤31中，选取室内场景中的固定物体构建有效信息库，若选取的物体属于有效信息库时，才利用其表征图片。
CN202010691982.9A 2020-07-17 2020-07-17 一种应用于室内固定空间的slam回环检测方法 Withdrawn CN111860297A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010691982.9A CN111860297A (zh) 2020-07-17 2020-07-17 一种应用于室内固定空间的slam回环检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010691982.9A CN111860297A (zh) 2020-07-17 2020-07-17 一种应用于室内固定空间的slam回环检测方法

Publications (1)

Publication Number Publication Date
CN111860297A true CN111860297A (zh) 2020-10-30

Family

ID=73002087

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010691982.9A Withdrawn CN111860297A (zh) 2020-07-17 2020-07-17 一种应用于室内固定空间的slam回环检测方法

Country Status (1)

Country Link
CN (1) CN111860297A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112614091A (zh) * 2020-12-10 2021-04-06 清华大学 一种针对先心病的超声多切面数据检测方法
CN112990195A (zh) * 2021-03-04 2021-06-18 佛山科学技术学院 一种面向复杂环境下融入语义信息的slam回环检测方法
CN113345006A (zh) * 2021-04-28 2021-09-03 视辰信息科技(上海)有限公司 一种闭环检测方法、装置、电子设备和存储介质
CN113591865A (zh) * 2021-07-28 2021-11-02 深圳甲壳虫智能有限公司 一种回环检测方法、装置以及电子设备
CN113989626A (zh) * 2021-12-27 2022-01-28 北京文安智能技术股份有限公司 一种基于目标检测模型的多类别垃圾场景区分方法
CN114067128A (zh) * 2021-12-21 2022-02-18 南通大学 一种基于语义特征的slam回环检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325979A (zh) * 2018-07-20 2019-02-12 上海理工大学 基于深度学习的机器人回环检测方法
CN109376631A (zh) * 2018-10-12 2019-02-22 中国人民公安大学 一种基于神经网络的回环检测方法及装置
CN111260661A (zh) * 2020-01-15 2020-06-09 江苏大学 一种基于神经网络技术的视觉语义slam系统及方法
EP3680609A1 (en) * 2018-11-09 2020-07-15 Wuyi University Antenna downward inclination angle measurement method based on multi-scale deep semantic segmentation network

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325979A (zh) * 2018-07-20 2019-02-12 上海理工大学 基于深度学习的机器人回环检测方法
CN109376631A (zh) * 2018-10-12 2019-02-22 中国人民公安大学 一种基于神经网络的回环检测方法及装置
EP3680609A1 (en) * 2018-11-09 2020-07-15 Wuyi University Antenna downward inclination angle measurement method based on multi-scale deep semantic segmentation network
CN111260661A (zh) * 2020-01-15 2020-06-09 江苏大学 一种基于神经网络技术的视觉语义slam系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FUCHUN JIANG ET AL.: "A Closed-Loop Detection Algorithm for Indoor Simultaneous Localization and Mapping Based on You Only Look Once v3" *
魏乐麒: "基于环境语义信息的SLAM算法研究与实现" *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112614091A (zh) * 2020-12-10 2021-04-06 清华大学 一种针对先心病的超声多切面数据检测方法
CN112990195A (zh) * 2021-03-04 2021-06-18 佛山科学技术学院 一种面向复杂环境下融入语义信息的slam回环检测方法
CN113345006A (zh) * 2021-04-28 2021-09-03 视辰信息科技(上海)有限公司 一种闭环检测方法、装置、电子设备和存储介质
CN113591865A (zh) * 2021-07-28 2021-11-02 深圳甲壳虫智能有限公司 一种回环检测方法、装置以及电子设备
CN113591865B (zh) * 2021-07-28 2024-03-26 深圳甲壳虫智能有限公司 一种回环检测方法、装置以及电子设备
CN114067128A (zh) * 2021-12-21 2022-02-18 南通大学 一种基于语义特征的slam回环检测方法
CN113989626A (zh) * 2021-12-27 2022-01-28 北京文安智能技术股份有限公司 一种基于目标检测模型的多类别垃圾场景区分方法
CN113989626B (zh) * 2021-12-27 2022-04-05 北京文安智能技术股份有限公司 一种基于目标检测模型的多类别垃圾场景区分方法

Similar Documents

Publication Publication Date Title
CN111860297A (zh) 一种应用于室内固定空间的slam回环检测方法
CN108875588B (zh) 基于深度学习的跨摄像头行人检测跟踪方法
Najibi et al. G-cnn: an iterative grid based object detector
CN107016357B (zh) 一种基于时间域卷积神经网络的视频行人检测方法
CN104601964B (zh) 非重叠视域跨摄像机室内行人目标跟踪方法及系统
Maddalena et al. A self-organizing approach to background subtraction for visual surveillance applications
Chen et al. Door recognition and deep learning algorithm for visual based robot navigation
CN100426317C (zh) 多姿态人脸检测与追踪系统及方法
CN110781790A (zh) 基于卷积神经网络与vlad的视觉slam闭环检测方法
CN107832672A (zh) 一种利用姿态信息设计多损失函数的行人重识别方法
CN110717411A (zh) 一种基于深层特征融合的行人重识别方法
US12087028B2 (en) Lifted semantic graph embedding for omnidirectional place recognition
CN110765906A (zh) 一种基于关键点的行人检测算法
CN107067413A (zh) 一种时空域统计匹配局部特征的运动目标检测方法
CN114639117B (zh) 一种跨境特定行人追踪的方法和装置
CN112329784A (zh) 一种基于时空感知及多峰响应的相关滤波跟踪方法
CN114861761B (zh) 一种基于孪生网络特征与几何验证的回环检测方法
CN109190458A (zh) 一种基于深度学习的小人头检测方法
CN109766790B (zh) 一种基于自适应特征通道的行人检测方法
CN111524183A (zh) 一种基于透视投影变换的目标行列定位方法
CN111291785A (zh) 目标检测的方法、装置、设备及存储介质
CN113011359B (zh) 一种基于图像的同时检测平面结构和生成平面描述的方法及应用
CN116311345A (zh) 一种基于Transformer的遮挡行人重识别方法
CN113642520B (zh) 一种带有头部信息的双任务行人检测方法
CN109815790B (zh) 用于遥感目标检测的门控轴聚检测网络系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20201030

WW01 Invention patent application withdrawn after publication