CN106780631B - 一种基于深度学习的机器人闭环检测方法 - Google Patents

一种基于深度学习的机器人闭环检测方法 Download PDF

Info

Publication number
CN106780631B
CN106780631B CN201710018162.1A CN201710018162A CN106780631B CN 106780631 B CN106780631 B CN 106780631B CN 201710018162 A CN201710018162 A CN 201710018162A CN 106780631 B CN106780631 B CN 106780631B
Authority
CN
China
Prior art keywords
frame
closed loop
feature extraction
result
rgb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710018162.1A
Other languages
English (en)
Other versions
CN106780631A (zh
Inventor
刘国良
赵洋
田国会
张威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201710018162.1A priority Critical patent/CN106780631B/zh
Publication of CN106780631A publication Critical patent/CN106780631A/zh
Application granted granted Critical
Publication of CN106780631B publication Critical patent/CN106780631B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本发明涉及一种基于深度学习的机器人闭环检测方法，包括(1)获取首帧环境的RGB图像和三维数据，将环境的RGB图像和三维数据进行配准获得环境的RGB+DEPTH四通道图像，将所述RGB+DEPTH四通道图像输入到卷积神经网络中，采用卷积神经网络的中间层输出作为首帧的特征提取结果；(2)采用(1)的方法获取连续N帧的特征提取结果；(3)将第N帧与第M帧的特征提取结果进行特征匹配，根据特征匹配结果判断闭环是否发生，其中M+1<N。

Description

一种基于深度学习的机器人闭环检测方法
技术领域
本发明涉及一种基于深度学习的机器人闭环检测方法。
背景技术
在机器人学与计算机视觉领域，视觉里程计是一种利用连续的图像序列来估计机器人移动距离的方法。视觉里程计增强了机器人在任何表面以任何方式移动时的导航精度。视觉里程计是机器人定位、地图构建以及路径规划等高层任务的基础。但是视觉里程计由于传感器的估计精度，会产生累计误差，其估计的机器人位姿会与真实位姿之间发生漂移，这种漂移可以通过闭环检测消除。
传统的闭环检测方法多依赖单一传感器信息，通过人为设计的特征提取和描述方法进行信息配准，有较大的应用局限性，这些方法忽略了环境中有用的信息，造成闭环检测的准确度不高。因此，不可避免地导致机器人定位、地图构建的鲁棒性差，而且，这些方法计算代价较大，不适合实时检测。
发明内容
本发明为了解决上述问题，提出了一种基于深度学习的机器人闭环检测方法，基于深度学习技术，实现了基于多传感器信息的融合，可同时提取环境结构特征和色彩纹理特征，另外无需人工设计和计算特征点及描述子，更无须执行繁杂的特征点匹配方法，具有较强的鲁棒性和实时性。
为了实现上述目的，本发明采用如下方案：
一种基于深度学习的机器人闭环检测方法，其特征在于：
(1)获取首帧环境的RGB图像和三维数据，将环境的RGB图像和三维数据进行配准获得环境的RGB+DEPTH四通道图像，将所述RGB+DEPTH四通道图像输入到卷积神经网络中，采用卷积神经网络的中间层输出作为首帧的特征提取结果；
(2)采用(1)的方法获取连续N帧的特征提取结果；
(3)将第N帧与第M帧的特征提取结果进行特征匹配，根据特征匹配结果判断闭环是否发生，其中M+1<N。
进一步，获取RGB+DEPTH四通道图像具体包括：对机器人的摄像机进行标定，得到摄像机的内外参数，根据摄像机内外参数将所述三维数据投影到所述环境的RGB图像平面，采用像素插值结合平滑处理方法生成对应的深度图；深度图像与RGB图像并联生成RGBD四通道图像。
所述卷积神经网络采用预训练神经网络Alexnet或基于Places数据库对预训练网络再训练和参数调优的数据库，或是结构类似的卷积神经网络。
进一步，采用相似性矩阵对第N帧与第M帧的特征提取结果进行特征匹配，用于避免根据特征匹配结果做出伪闭环的判断。
相似性矩阵是对称矩阵，其中的第N行、第M列元素代表第N帧和第M帧之间的归一化后的欧式距离。
进一步，对所述相似性矩阵进行特征值分解，去掉较大特征值，以得到降秩后的矩阵，用于避免根据特征匹配结果做出伪闭环的判断。
进一步，选取多个关键帧作为候选帧集合，第M帧出自于所述候选帧集合；所述候选帧集合的帧数满足100％闭环召回率。
进一步，将第N帧与第M帧的特征提取结果记为第1结果，将第M帧相邻帧与第N帧的特征提取结果也分别进行特征匹配，并记为第w结果，其中w>1，第M帧相邻帧为以第M帧为中心的前后多帧；若第1结果判断发生闭环，且第w结果也判断发生闭环，则决策认为发生真闭环；若第1结果判断发生闭环，且第w结果判断未发生闭环，则决策认为发生伪闭环。
本发明的有益效果：
本发明提出了一种基于卷积神经网络(convolutional neural network,CNN)的深度学习闭环检测方法。可以同时融合3D激光点云数据与RGB图像数据，自适应的提取隐含在数据中的环境纹理信息、色彩信息和结构信息，生成对场景的有效特征描述，可提高闭环检测的准确率。相对于单一的三维激光点云匹配或者图像检索识别方法，该技术可同时利用点云结构信息和图像色彩及纹理信息，是信息融合的有效方法。此外，该技术无需手动提取特征或构建描述子，是从数据中学习和挖掘特征，具有较强的鲁棒性和实时性。
附图说明
图1为本发明简化的流程图。
具体实施方式：
下面结合附图与实施例对本发明作进一步说明。
实施例1：一种基于深度学习的机器人闭环检测方法，
(1)机器人摄像头获取的RGB图像与三维激光扫描仪获取的三维数据，即激光点云数据进行配准，从而构造出RGB+DEPTH四通道图像。配准方法为：激光器数据利用摄像机内外参数投影到上述RGB图像平面，经过像素插值和平滑生成对应的深度图像，与RGB彩色图像并联生成RGBD四通道图像，将RGB+DEPTH四通道图像输入到卷积神经网络中，采用卷积神经网络的中间层输出作为首帧的特征提取结果；
本发明可采用广泛应用于视觉识别的预训练神经网络Alexnet，也可基于场景识别数据库Places对预训练网络再进行参数调优，或是结构类似的卷积神经网络。将配准数据输入训练好的卷积神经网络中，其各个隐含层的输出对应于图像特征表示，本发明选用匹配精度较高的中间层特征完成特征提取。
(2)采用(1)的方法获取连续N帧的特征提取结果；
(3)将第N帧与第M帧的特征提取结果进行特征匹配，根据特征匹配结果判断闭环是否发生，其中M+1<N。
本发明为避免特征匹配时做出假闭环决策，采用以下优化方法：一方面对相似性矩阵进行特征值分解，舍弃较大的特征值，以得到降秩后的相似性矩阵；另一方面闭环的发生在机器人行进过程中有一定的连续性，因此可根据相邻关键帧是否都能够检测到闭环做出决策。
即为：将第N帧与第M帧的特征提取结果记为第1结果，将第M帧相邻帧与第N帧的特征提取结果也分别进行特征匹配，并记为第w结果，其中w>1，第M帧相邻帧为以第M帧为中心的前后多帧；若第1结果判断发生闭环，且第w结果也判断发生闭环，则决策认为发生真闭环；若第1结果判断发生闭环，且第w结果判断未发生闭环，则决策认为发生伪闭环。
进一步，本发明可以选取多个关键帧作为候选帧集合，第M帧出自于所述候选帧集合；所述候选帧集合的帧数满足100％闭环召回率。
关键帧有多种方法选取机制：可以通过判断上一帧和当前帧之间的特征差异，也可以通过距离和角度变化来决定，可参考王可、贾松敏等人的相关论著。
关键帧的选取主要是为了减少机器人在构建地图过程中的冗余信息，使得地图存储量得到精简，提升检索效率。
实施例2：一种机器人，包括摄像机，其特征在于：还配置有三维激光扫描仪，采用上述的闭环检测方法判断闭环是否发生。采用这种方法的机器人，可提高闭环检测的准确率。相对于单一的三维激光点云匹配或者图像检索识别方法，本发明可同时利用点云结构信息和图像色彩及纹理信息，是信息融合的有效方法。此外，本发明无需手动提取特征或构建描述子，是从数据中学习和挖掘特征，具有较强的鲁棒性和实时性。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (6)

1.一种基于深度学习的机器人闭环检测方法，其特征在于：
(1)获取首帧环境的RGB图像和三维数据，将环境的RGB图像和三维数据进行配准获得环境的RGB+DEPTH四通道图像，将所述RGB+DEPTH四通道图像输入到卷积神经网络中，采用卷积神经网络的中间层输出作为首帧的特征提取结果；
(2)采用(1)的方法获取连续N帧的特征提取结果；
(3)将第N帧与第M帧的特征提取结果进行特征匹配，根据特征匹配结果判断闭环是否发生，其中M+1<N；
对机器人的摄像机进行标定，得到摄像机的内外参数，根据摄像机内外参数将所述三维数据投影到所述环境的RGB图像平面，并采用像素插值结合平滑处理方法生成对应的深度图像；
选取多个关键帧作为候选帧集合，第M帧出自于所述候选帧集合；
将第N帧与第M帧的特征提取结果记为第1结果，将第M帧相邻帧与第N帧的特征提取结果也分别进行特征匹配，并记为第w结果，其中w>1，第M帧相邻帧为以第M帧为中心的前后多帧；若第1结果判断发生闭环，且第w结果也判断发生闭环，则决策认为发生真闭环；若第1结果判断发生闭环，且第w结果判断未发生闭环，则决策认为发生伪闭环。
2.根据权利要求1所述的方法，其特征在于：所述深度图像与RGB图像并联生成RGBD四通道图像。
3.根据权利要求1所述的方法，其特征在于：所述卷积神经网络采用预训练神经网络Alexnet或基于Places数据库对预训练网络再训练和参数调优的数据库。
4.根据权利要求1所述的方法，其特征在于：采用相似性矩阵对第N帧与第M帧的特征提取结果进行特征匹配，用于避免根据特征匹配结果做出伪闭环的判断。
5.根据权利要求4所述的方法，其特征在于：对所述相似性矩阵进行特征值分解，得到降秩后的相似性矩阵，用于避免根据特征匹配结果做出伪闭环的判断。
6.一种机器人，包括摄像机，其特征在于：还配置有三维激光扫描仪，采用如权利要求1-5任一项所述的闭环检测方法判断闭环是否发生。
CN201710018162.1A 2017-01-11 2017-01-11 一种基于深度学习的机器人闭环检测方法 Active CN106780631B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710018162.1A CN106780631B (zh) 2017-01-11 2017-01-11 一种基于深度学习的机器人闭环检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710018162.1A CN106780631B (zh) 2017-01-11 2017-01-11 一种基于深度学习的机器人闭环检测方法

Publications (2)

Publication Number Publication Date
CN106780631A CN106780631A (zh) 2017-05-31
CN106780631B true CN106780631B (zh) 2020-01-03

Family

ID=58947417

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710018162.1A Active CN106780631B (zh) 2017-01-11 2017-01-11 一种基于深度学习的机器人闭环检测方法

Country Status (1)

Country Link
CN (1) CN106780631B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107403163B (zh) * 2017-07-31 2019-11-08 武汉大学 一种基于深度学习的激光slam闭环自动检测方法
CN107368076B (zh) * 2017-07-31 2018-03-27 中南大学 一种智能环境下机器人运动路径深度学习控制规划方法
CN108229440A (zh) * 2018-02-06 2018-06-29 北京奥开信息科技有限公司 一种基于多传感器融合室内人体姿态识别方法
CN108805987B (zh) * 2018-05-21 2021-03-12 中国科学院自动化研究所 基于深度学习的混合跟踪方法及装置
CN109341703B (zh) * 2018-09-18 2022-07-01 北京航空航天大学 一种全周期采用CNNs特征检测的视觉SLAM算法
CN109711245B (zh) * 2018-11-05 2023-04-18 广东工业大学 一种基于图像候选区域的闭环检测方法
CN109784232A (zh) * 2018-12-29 2019-05-21 佛山科学技术学院 一种融合深度信息的视觉slam回环检测方法及装置
CN109711365A (zh) * 2018-12-29 2019-05-03 佛山科学技术学院 一种融合语义信息的视觉slam回环检测方法及装置
US11231283B2 (en) 2019-01-25 2022-01-25 Robert Bosch Gmbh Localization with neural network based image registration of sensor data and map data
CN109949288A (zh) * 2019-03-15 2019-06-28 上海联影智能医疗科技有限公司 肿瘤类型确定系统、方法及存储介质
CN110531618B (zh) * 2019-08-27 2020-07-31 河海大学 基于有效关键帧的闭环检测机器人自定位误差消除方法
CN113496521B (zh) * 2020-04-08 2022-10-18 复旦大学 利用多张彩色图片生成深度图像与相机外参的方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104793620B (zh) * 2015-04-17 2019-06-18 中国矿业大学 基于视觉特征捆绑和强化学习理论的避障机器人
CN105512674B (zh) * 2015-11-25 2019-04-12 中国科学院自动化研究所 基于密集匹配子自适应相似性度量的rgb-d物体识别方法和装置
CN105956532B (zh) * 2016-04-25 2019-05-21 大连理工大学 一种基于多尺度卷积神经网络的交通场景分类方法
CN106127804B (zh) * 2016-06-17 2018-08-28 淮阴工学院 基于稀疏深度去噪自编码器的rgb-d数据跨模式特征学习的目标跟踪方法
CN105856243A (zh) * 2016-06-28 2016-08-17 湖南科瑞特科技股份有限公司 一种移动智能机器人

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"基于Kinect和视觉词典的三维SLAM算法研究";龙超;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160715;第I138-1057页 *
"基于Kinect的视觉同步定位与建图研究";徐冬云;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160315;第I138-6899页 *
"基于图像特征的RGB-D视觉SLAM算法";宋艳;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160715;第I138-889页 *

Also Published As

Publication number Publication date
CN106780631A (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
CN106780631B (zh) 一种基于深度学习的机器人闭环检测方法
US20210390329A1 (en) Image processing method, device, movable platform, unmanned aerial vehicle, and storage medium
Zhou et al. To learn or not to learn: Visual localization from essential matrices
CN110675418B (zh) 一种基于ds证据理论的目标轨迹优化方法
CN111060115B (zh) 一种基于图像边缘特征的视觉slam方法及系统
CN109341703B (zh) 一种全周期采用CNNs特征检测的视觉SLAM算法
CN110717927A (zh) 基于深度学习和视惯融合的室内机器人运动估计方法
CN111507222B (zh) 一种基于多源数据知识迁移的三维物体检测框架
CN110688905B (zh) 一种基于关键帧的三维物体检测与跟踪方法
Shi et al. Calibrcnn: Calibrating camera and lidar by recurrent convolutional neural network and geometric constraints
CN111998862B (zh) 一种基于bnn的稠密双目slam方法
CN110570474B (zh) 一种深度相机的位姿估计方法及系统
CN116222577B (zh) 闭环检测方法、训练方法、系统、电子设备及存储介质
CN112967388A (zh) 三维时序图像神经网络模型的训练方法和装置
Streiff et al. 3D3L: Deep learned 3D keypoint detection and description for lidars
CN117213470B (zh) 一种多机碎片地图聚合更新方法及系统
Harisankar et al. Unsupervised depth estimation from monocular images for autonomous vehicles
Hyeon et al. KR-Net: A dependable visual kidnap recovery network for indoor spaces
CN113920254B (zh) 一种基于单目rgb的室内三维重建方法及其系统
CN115239902A (zh) 移动设备的周边地图建立方法、装置、设备及存储介质
CN114155406A (zh) 一种基于区域级特征融合的位姿估计方法
CN113112547A (zh) 机器人及其重定位方法、定位装置及存储介质
Vismaya et al. Fuzzy c-means algorithm based depth estimation in single image
Nakashima et al. Sir-net: scene-independent end-to-end trainable visual relocalizer
CN110414337B (zh) 目标姿态检测系统及其检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant