CN110516527B - 一种基于实例分割的视觉slam回环检测改进方法 - Google Patents

一种基于实例分割的视觉slam回环检测改进方法 Download PDF

Info

Publication number
CN110516527B
CN110516527B CN201910609461.1A CN201910609461A CN110516527B CN 110516527 B CN110516527 B CN 110516527B CN 201910609461 A CN201910609461 A CN 201910609461A CN 110516527 B CN110516527 B CN 110516527B
Authority
CN
China
Prior art keywords
loop detection
loop
foreground
segmentation
visual slam
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910609461.1A
Other languages
English (en)
Other versions
CN110516527A (zh
Inventor
赖瑨
刘治
章云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201910609461.1A priority Critical patent/CN110516527B/zh
Publication of CN110516527A publication Critical patent/CN110516527A/zh
Application granted granted Critical
Publication of CN110516527B publication Critical patent/CN110516527B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明公开了一种基于实例分割的视觉SLAM回环检测改进方法，提出通过Mask R‑CNN框架对图像进行实例分割，并提出三种结合实例分割的改进措施，以此来解决移动智能型机器人在视觉导航中遇到的回环检测问题，从而使得机器人在移动建图上更加准确；本发明与现有技术相比，使用Mask R‑CNN进行离线的训练，将图像中的实例进行精细分割。并将分割出的相关性较低的实例进行选择并去除，使得整个回环检测的稳定性以及准确率得到提高，以此来提高智能移动机器人导航的高效性和准确性；另外，在回环检测中通过三种结合实例分割框架的检测方法，用来对图像空间关系进行描述，从而进一步对回环检测进行检验。本发明中的这两大特征使得整个系统的准确性得到显著的提高。

Description

一种基于实例分割的视觉SLAM回环检测改进方法
技术领域
本发明涉及实例分割及视觉SLAM技术领域，具体涉及一种基于实例分割的视觉SLAM回环检测改进方法。
背景技术
目前，随着移动机器人系统的进一步发展，使得视觉同步定位与建图(视觉SLAM)受到了政府、社会、企业的高度重视，更是吸引了相关产业链与环节众多厂家的积极参与。视觉SLAM通过双目摄像头获取图像信息，以达到在没有环境先验信息的情况下，实现运动过程中建立环境并估计自身运动等功能。在复杂环境的干扰下，如何保证并提升移动机器人的建图准确性是视觉SLAM产业化过程的关键应用基础问题。
SLAM即Simultaneous Localization and mapping，中文译作“同时定位与地图构建”，它是指搭载特定传感器的主体，在没有环境先验信息的情况下，于运动过程中建立环境的模型，同时估计自身的运动。
在经典视觉SLAM框架中，主要由传感器数据、视觉里程计、后端优化、回环检测、最终建图这些方面组成；其中回环检测方面，传统回环检测方法采用的是视觉词袋模型(BoW)，词袋模型对图像中视觉特征描述子进行聚类，建立词典，然后对于给定的图像在词袋中找到对应的单词。常见的视觉特征SIFT、SURF、ORB等被广泛应用。但是其方法有着有很大的应用局限性，这些特征的提取耗费大量的时间，同时在光照变化明显的场景中，这些方法忽略了环境中有用的信息，造成闭环检测的准确度不高。BoW方法在实际应用中需要人为的设定一些字典，并且在准确性上相对于机器学习来说并不高；而且回环检测实际上就是聚类的问题，而此类问题在机器学习方面已经得到了很好的解决，所以机器学习代替BoW这类算法成为主流回环检测方法将是一大趋势，而MASK R-CNN则是当今机器学习中的热点之一，其能够在像素层面识别目标轮廓。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提供一种基于实例分割的视觉SLAM回环检测改进方法，该方法将MASK R-CNN与SLAM回环检测问题相互结合，并提出实例SLAM回环检测中只适用于实例分割的改进方法，使得回环检测的准确性和稳定性得到提升。
本发明的目的通过下述技术方案实现：
一种基于实例分割的视觉SLAM回环检测改进方法，包括下述步骤：
(1)使用RGB-D摄像头获取RGB信息以及深度的信息，将采集到的数据集样本分成多个同等份的数据集；
(2)将数据集中的每一张图片分别送入CNN，进行特征提取；
(3)在最后一层卷积featuremap上，通过RPN生成ROI，每张图片固定n个建议窗口；
(4)通过RoIAlign层使得每个建议窗口生成固定大小的featuremap；
(5)得到三个输出向量，第一个是softmax分类，第二个是每一类的bounding box回归，第三个是每一个ROI的二进制掩码Mask；通过这三个输出向量，从而得到实例分割的结果；
(6)将实例分割的结果进行过滤，即将分割出的相关性较低的实例进行选择并去除，只留下能区分图像特征的实例；
(7)将第A帧图像与第B帧图像所得到的实例分割过滤后的结果进行对比，规定A、B在全部帧中随机取，且A+1<B，当最终聚类中心的对比在误差范围之内，并达到了一定的数量时，便看作是达到了回环的效果；
(8)得到MASK R-CNN的实例分割结果后，一方面可以直接通过最终的特征进行回环检测；另一方面，也可以使用结合实例分割与视觉SLAM的回环检测方法。
优选地，所述结合实例分割与视觉SLAM的回环检测方法具体为：
①将步骤(6)所得到的结果进行再次回环检测检验，由于移动机器人中回环检测问题主要研究图像间的相似性，而当背景实例相同但前后景不同时，应当判定为没有达到回环效果，为此可通过前后景对比的方式，而这一判定依据只能结合MASK R-CNN来进行判断；
②通过MASK R-CNN对实例进行前后景区分，随后对实例前后景进行统计，将前景的实例集合作为字典D1，后景的实例集合作为字典D2，其中前后景作为key，前后景的实例列表作为value；针对第A帧图像与第B帧图像得到的D1、D2进行前后景对比，从而对回环检测进行进一步的检测。
优选地，所述结合实例分割与视觉SLAM的回环检测方法具体为：
①将步骤(6)所得到的结果进行再次回环检测检验，由于当机器人在道路移动时，实际上图像中的事物都是由远到近的，所以实例和前后景经常都是相同的，为此可对每个实例进行图形面积计算，而这一判定依据只能结合MASK R-CNN来进行判断；
②通过对图像中每个实例进行像素点总和的计算，总和数记作n，将不同实例的面积进行区分和统计，可以得到每个实例的面积总和并进行图像之间的对比，从而对回环检测进行进一步的检测。
优选地，所述结合实例分割与视觉SLAM的回环检测方法具体为：
①将步骤(6)所得到的结果进行再次回环检测检验，由于机器人在运动过程中，有可能同一场景从不同角度拍摄，而此时实例面积很可能不起作用，为此可通过计算实例的中心位置，而这一判定依据只能结合MASK R-CNN来进行判断；
②在通过RGB-D相机得到数据的同时，对此时得到的像素平面进行位置处理，给定每个像素(x，y)位置信息，x轴为横向，y轴为纵向；
③对每个实例中的总和像素点n进行像素位置的x、y总和计算，x坐标总和记为X，y坐标总和记为Y，最后将总和X、Y分别除以总像素点n，得到每个实例的中心点位置，从而通过不同实例的中心点位置对回环检测进行进一步的检测。
本发明与现有技术相比具有以下的有益效果：
(1)本发明提出将MASK R-CNN与视觉SLAM回环检测相互结合，使得整个移动机器人在回环检测问题上能够以更加清晰的判别方式进行；
(2)本发明提出三种结合实例分割与视觉SLAM回环检测的改进方法，分别为：前后景对比方法、实例面积对比方法、实例位置对比方法；其方法只与MASK R-CNN相结合使用，能够有效的提高回环检测的稳定性与准确性，使得机器人在移动建图方面更加高效。
附图说明
图1为本发明的具体流程图；
图2为本发明的实例分割网络框架图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
如图1～2所示，一种基于实例分割的视觉SLAM回环检测改进方法，包括下述步骤：
(1)使用RGB-D摄像头获取RGB信息以及深度的信息，将采集到的数据集样本分成多个同等份的数据集；
(2)将数据集中的每一张图片分别送入CNN，进行特征提取；
(3)在最后一层卷积featuremap上，通过RPN生成ROI，每张图片固定n个建议窗口，这里设n为300；
(4)通过RoIAlign层使得每个建议窗口生成固定大小的featuremap；
(5)得到三个输出向量，第一个是softmax分类，第二个是每一类的bounding box回归，第三个是每一个ROI的二进制掩码Mask(FCN生成)；通过这三个输出向量，从而得到实例分割的结果；
(6)将实例分割的结果进行过滤，即将分割出的相关性较低的实例进行选择并去除，只留下能区分图像特征的实例；
(7)将第A帧图像与第B帧图像所得到的实例分割过滤后的结果进行对比，规定A、B在全部帧中随机取，且A+1<B，当最终聚类中心的对比在误差范围之内，并达到了一定的数量时，便看作是达到了回环的效果；
(8)得到MASK R-CNN的实例分割结果后，一方面可以直接通过最终的特征进行回环检测；另一方面，也可以使用结合实例分割与视觉SLAM的回环检测方法。
本发明提出三种结合实例分割与视觉SLAM的回环检测方法，这三种方法是并行运行的，如图1所示，具体如下：
所述结合实例分割与视觉SLAM的回环检测方法之一：
①将步骤(6)所得到的结果进行再次回环检测检验，由于移动机器人中回环检测问题主要研究图像间的相似性，而当背景实例相同但前后景不同时，应当判定为没有达到回环效果，为此可通过前后景对比的方式，而这一判定依据只能结合MASK R-CNN来进行判断；
②通过MASK R-CNN对实例进行前后景区分，随后对实例前后景进行统计，将前景的实例集合作为字典D1，后景的实例集合作为字典D2，其中前后景作为key，前后景的实例列表作为value；针对第A帧图像与第B帧图像得到的D1、D2进行前后景对比，从而对回环检测进行进一步的检测。
所述结合实例分割与视觉SLAM的回环检测方法之二：
①将步骤(6)所得到的结果进行再次回环检测检验，由于当机器人在道路移动时，实际上图像中的事物都是由远到近的，所以实例和前后景经常都是相同的，为此可对每个实例进行图形面积计算，而这一判定依据只能结合MASK R-CNN来进行判断；
②通过对图像中每个实例进行像素点总和的计算，总和数记作n，将不同实例的面积进行区分和统计，可以得到每个实例的面积总和并进行图像之间的对比，从而对回环检测进行进一步的检测。
所述结合实例分割与视觉SLAM的回环检测方法之三：
①将步骤(6)所得到的结果进行再次回环检测检验，由于机器人在运动过程中，有可能同一场景从不同角度拍摄，而此时实例面积很可能不起作用，为此可通过计算实例的中心位置，而这一判定依据只能结合MASK R-CNN来进行判断；
②在通过RGB-D相机得到数据的同时，对此时得到的像素平面进行位置处理，给定每个像素(x，y)位置信息，x轴为横向，y轴为纵向；
③对每个实例中的总和像素点n进行像素位置的x、y总和计算，x坐标总和记为X，y坐标总和记为Y，最后将总和X、Y分别除以总像素点n，得到每个实例的中心点位置，从而通过不同实例的中心点位置对回环检测进行进一步的检测。
本发明提出将MASK R-CNN与视觉SLAM回环检测相互结合，使得整个移动机器人在回环检测问题上能够以更加清晰的判别方式进行；提出三种结合实例分割与视觉SLAM回环检测的改进方法，分别为：前后景对比方法、实例面积对比方法、实例位置对比方法；其方法只与MASK R-CNN相结合使用，能够有效的提高回环检测的稳定性与准确性，使得机器人在移动建图方面更加高效。
上述为本发明较佳的实施方式，但本发明的实施方式并不受上述内容的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (4)

1.一种基于实例分割的视觉SLAM回环检测改进方法，其特征在于，包括下述步骤：
(1)使用RGB-D摄像头获取RGB信息以及深度的信息，将采集到的数据集样本分成多个同等份的数据集；
(2)将数据集中的每一张图片分别送入CNN，进行特征提取；
(3)在最后一层卷积featuremap上，通过RPN生成ROI，每张图片固定n个建议窗口；
(4)通过RoIAlign层使得每个建议窗口生成固定大小的feature map；
(5)得到三个输出向量，第一个是softmax分类，第二个是每一类的bounding box回归，第三个是每一个ROI的二进制掩码Mask；通过这三个输出向量，从而得到实例分割的结果；
(6)将实例分割的结果进行过滤，即将分割出的相关性较低的实例进行选择并去除，只留下能区分图像特征的实例；
(7)将第A帧图像与第B帧图像所得到的实例分割过滤后的结果进行对比，规定A、B在全部帧中随机取，且A+1<B，当最终聚类中心的对比在误差范围之内，并达到了一定的数量时，便看作是达到了回环的效果；
(8)得到MASK R-CNN的实例分割结果后，一方面可以直接通过最终的特征进行回环检测；另一方面，也可以使用结合实例分割与视觉SLAM的回环检测方法。
2.根据权利要求1所述的基于实例分割的视觉SLAM回环检测改进方法，其特征在于，所述结合实例分割与视觉SLAM的回环检测方法具体为：
①将步骤(6)所得到的结果进行再次回环检测检验，由于移动机器人中回环检测问题主要研究图像间的相似性，而当背景实例相同但前后景不同时，应当判定为没有达到回环效果，为此可通过前后景对比的方式，而这一判定依据只能结合MASK R-CNN来进行判断；
②通过MASK R-CNN对实例进行前后景区分，随后对实例前后景进行统计，将前景的实例集合作为字典D1，后景的实例集合作为字典D2，其中前后景作为key，前后景的实例列表作为value；针对第A帧图像与第B帧图像得到的D1、D2进行前后景对比，从而对回环检测进行进一步的检测。
3.根据权利要求1所述的基于实例分割的视觉SLAM回环检测改进方法，其特征在于，所述结合实例分割与视觉SLAM的回环检测方法具体为：
①将步骤(6)所得到的结果进行再次回环检测检验，由于当机器人在道路移动时，实际上图像中的事物都是由远到近的，所以实例和前后景经常都是相同的，为此可对每个实例进行图形面积计算，而这一判定依据只能结合MASK R-CNN来进行判断；
②通过对图像中每个实例进行像素点总和的计算，总和数记作n，将不同实例的面积进行区分和统计，可以得到每个实例的面积总和并进行图像之间的对比，从而对回环检测进行进一步的检测。
4.根据权利要求1所述的基于实例分割的视觉SLAM回环检测改进方法，其特征在于，所述结合实例分割与视觉SLAM的回环检测方法具体为：
①将步骤(6)所得到的结果进行再次回环检测检验，由于机器人在运动过程中，有可能同一场景从不同角度拍摄，而此时实例面积很可能不起作用，为此可通过计算实例的中心位置，而这一判定依据只能结合MASK R-CNN来进行判断；
②在通过RGB-D相机得到数据的同时，对此时得到的像素平面进行位置处理，给定每个像素(x，y)位置信息，x轴为横向，y轴为纵向；
③对每个实例中的总和像素点n进行像素位置的x、y总和计算，x坐标总和记为X，y坐标总和记为Y，最后将总和X、Y分别除以总像素点n，得到每个实例的中心点位置，从而通过不同实例的中心点位置对回环检测进行进一步的检测。
CN201910609461.1A 2019-07-08 2019-07-08 一种基于实例分割的视觉slam回环检测改进方法 Active CN110516527B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910609461.1A CN110516527B (zh) 2019-07-08 2019-07-08 一种基于实例分割的视觉slam回环检测改进方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910609461.1A CN110516527B (zh) 2019-07-08 2019-07-08 一种基于实例分割的视觉slam回环检测改进方法

Publications (2)

Publication Number Publication Date
CN110516527A CN110516527A (zh) 2019-11-29
CN110516527B true CN110516527B (zh) 2023-05-23

Family

ID=68622582

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910609461.1A Active CN110516527B (zh) 2019-07-08 2019-07-08 一种基于实例分割的视觉slam回环检测改进方法

Country Status (1)

Country Link
CN (1) CN110516527B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111241943B (zh) * 2019-12-31 2022-06-21 浙江大学 基于背景目标与三元组损失的场景识别与回环检测方法
CN112308867B (zh) * 2020-11-10 2022-07-22 上海商汤智能科技有限公司 牙齿图像的处理方法及装置、电子设备和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272021A (zh) * 2018-08-22 2019-01-25 广东工业大学 一种基于宽度学习的智能移动机器人导航方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9807365B2 (en) * 2015-12-08 2017-10-31 Mitsubishi Electric Research Laboratories, Inc. System and method for hybrid simultaneous localization and mapping of 2D and 3D data acquired by sensors from a 3D scene
US11093753B2 (en) * 2016-06-24 2021-08-17 Robert Bosch Gmbh RGB-D camera based tracking system and method thereof
US10679351B2 (en) * 2017-08-18 2020-06-09 Samsung Electronics Co., Ltd. System and method for semantic segmentation of images
CN108108764B (zh) * 2017-12-26 2021-12-24 东南大学 一种基于随机森林的视觉slam回环检测方法
CN109816686A (zh) * 2019-01-15 2019-05-28 山东大学 基于物体实例匹配的机器人语义slam方法、处理器及机器人

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272021A (zh) * 2018-08-22 2019-01-25 广东工业大学 一种基于宽度学习的智能移动机器人导航方法

Also Published As

Publication number Publication date
CN110516527A (zh) 2019-11-29

Similar Documents

Publication Publication Date Title
CN105046196B (zh) 基于级联卷积神经网络的前车车辆信息结构化输出方法
CN105046197B (zh) 基于聚类的多模板行人检测方法
CN104978567B (zh) 基于场景分类的车辆检测方法
CN111209915A (zh) 一种基于深度学习的三维图像同步识别和分割方法
CN105528794A (zh) 基于混合高斯模型与超像素分割的运动目标检测方法
CN110688905B (zh) 一种基于关键帧的三维物体检测与跟踪方法
CN110298227B (zh) 一种基于深度学习的无人机航拍图像中的车辆检测方法
CN110399840B (zh) 一种快速的草坪语义分割及边界检测方法
CN111340855A (zh) 一种基于轨迹预测的道路移动目标检测方法
CN108921120B (zh) 一种适应广泛零售场景下的香烟识别方法
CN104850850A (zh) 一种结合形状和颜色的双目立体视觉图像特征提取方法
CN104077596A (zh) 一种无标志物跟踪注册方法
CN112766136B (zh) 一种基于深度学习的空间车位检测方法
CN102915544A (zh) 基于纹理检测和颜色分割的视频图像运动目标提取方法
CN108509950B (zh) 基于概率特征加权融合的铁路接触网支柱号牌检测识别法
CN110705412A (zh) 一种基于运动历史图像的视频目标检测方法
CN113516664A (zh) 一种基于语义分割动态点的视觉slam方法
CN110516527B (zh) 一种基于实例分割的视觉slam回环检测改进方法
CN112329559A (zh) 一种基于深度卷积神经网络的宅基地目标检测方法
CN114463619B (zh) 基于集成融合特征的红外弱小目标检测方法
Wang et al. Vehicle license plate recognition based on wavelet transform and vertical edge matching
CN113538585A (zh) 基于无人机的高精度多目标智能识别定位追踪方法及系统
Zhang et al. An optical flow based moving objects detection algorithm for the UAV
KR20010050988A (ko) 크기와 회전에 무관한 지능형 얼굴검출 방법
CN107146215A (zh) 一种基于颜色直方图和凸包的显著性检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant