CN106780484A - 基于卷积神经网络特征描述子的机器人帧间位姿估计方法 - Google Patents

基于卷积神经网络特征描述子的机器人帧间位姿估计方法 Download PDF

Info

Publication number
CN106780484A
CN106780484A CN201710018461.5A CN201710018461A CN106780484A CN 106780484 A CN106780484 A CN 106780484A CN 201710018461 A CN201710018461 A CN 201710018461A CN 106780484 A CN106780484 A CN 106780484A
Authority
CN
China
Prior art keywords
feature
robot
convolutional neural
neural networks
algorithms
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710018461.5A
Other languages
English (en)
Inventor
刘国良
张威
田国会
赵洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201710018461.5A priority Critical patent/CN106780484A/zh
Publication of CN106780484A publication Critical patent/CN106780484A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于卷积神经网络特征描述子的机器人帧间位姿估计方法，首先采用特征点提取算法提取当前帧图像中的特征点，然后裁剪以所述特征点位置为中心的局部区域图像，将该局部区域图像输入到具有中间层的卷积神经网络中，并提取卷积神经网络的中间层输出向量作为该特征点的特征描述子；对相邻两帧图像中的特征描述子进行特征点匹配，根据得到的特征匹配关系采用帧间运动估计算法估计相邻两帧图像之间机器人的位姿变化。

Description

基于卷积神经网络特征描述子的机器人帧间位姿估计方法
技术领域
本发明涉及一种基于卷积神经网络特征描述子的机器人帧间位姿估计方法。
背景技术
在机器人学与计算机视觉领域，视觉里程计是一个通过分析相关图像序列，来确定机器人位置和朝向的过程。在传统的测量领域，例如采用旋转编码器测量机器人轮子的转动，当机器人向前移动一段时间后，想要知道大致的移动距离，借助旋转编码器，可以测量出轮子旋转的圈数，如果知道了轮子的周长，便可以计算出机器人移动的距离。但通常会遇到精度问题，例如轮子的打滑就会导致产生机器人移动的距离与轮子的旋转圈数不一致的问题。当机器人在不光滑的表面运动时，误差是由多种因素混合产生的。由于误差随时间的累积，导致了里程计的读数随着时间的增加，而变得越来越不可靠。
视觉里程计是一种利用连续的图像序列来估计机器人移动距离的方法。视觉里程计增强了机器人在任何表面以任何方式移动时的导航精度。视觉里程计是机器人定位、地图构建以及路径规划等高层任务的基础。传统的视觉里程计主要通过匹配帧间视觉特征描述子，分析计算特征之间的空间几何关系，估计机器人帧间位姿。传统的特征描述子需要人工设计和计算，造成对图像信息表示具有一定的人为性和局限性，在应对图像的光照变化、遮挡、运动模糊等情形具有较大的局限性，影响了其估计精度。
发明内容
本发明为了解决上述问题，提出了一种基于卷积神经网络特征描述子的机器人帧间位姿估计方法，利用了卷积神经网络描述图像特征的鲁棒性，相较于传统特征描述方法拥有更好的特征点匹配效果。
为了实现上述目的，本发明采用如下方案：
基于卷积神经网络特征描述子的机器人帧间位姿估计方法，首先采用特征点提取算法提取当前帧图像中的特征点，其特征在于：裁剪以所述特征点位置为中心的局部区域图像，当所述特征点为多尺度特征时，根据特征点所在的图像尺度进行局部区域图像的裁剪。将该局部区域图像输入到具有中间层的卷积神经网络中，并提取卷积神经网络的中间层输出向量作为该特征点的特征描述子；对相邻两帧图像中的特征描述子进行特征点匹配，根据得到的特征匹配关系采用帧间运动估计算法估计相邻两帧图像之间机器人的位姿变化。
对特征点的提取，可根据应用场景选取恰当的特征点提取算法。包括SIFT特征采用DOG算法提取特征点、SURF特征采用Hessian Matrix算法提取特征点、ORB特征采用改进的FAST算法提取特征点等类似的特征点提取算法。
所述卷积神经网络（Convolutional Neural Network,CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。它包括卷积层和池化层。在实际应用中，往往使用多层卷积，然后再使用全连接层进行训练，多层卷积的目的是一层卷积学到的特征往往是局部的，层数越高，学到的特征就越全局化。
卷积神经网络来自于深度学习，深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习的概念由Hinton等人于2006年提出。基于深度置信网络(DBN)提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法，它利用空间相对关系减少参数数目以提高训练性能。
本发明对相邻两帧图像中的特征描述子采用近似最近邻方法进行特征点匹配，根据得到的特征匹配关系采用帧间运动估计算法估计相邻两帧图像之间机器人的位姿变化。
帧间运动估计算法：由于运动图像邻近帧中的景物存在着一定的相关性。因此，可将运动图像分成若干块或宏块，并设法搜索出每个块或宏块在邻近帧图像中的位置，并得出两者之间的空间位置的相对偏移量，得到的相对偏移量就是通常所指的运动矢量，得到运动矢量的过程被称为运动估计，采用的算法即为帧间运动估计算法。
本发明的有益效果：本发明提出了一种基于卷积神经网络特征描述子的帧间估计技术，实现基于视觉图像的帧间估计。相对于传统特征描述方法，本发明采用基于深度学习的卷积神经网络中得到的特征描述子，可以从数据中寻找对局部图像的深层次特征描述，在面对遮挡旋转等复杂情形时拥有更精准的特征点匹配效果。
附图说明
图1为本发明简化的流程图。
具体实施方式：
下面结合附图与实施例对本发明作进一步说明。
实施例1：基于卷积神经网络特征描述子的机器人帧间位姿估计方法。
如图1所示：本发明首先提取相邻两帧图像中的特征点，裁剪以所述特征点位置为中心的局部区域图像，当所述特征点为多尺度特征时，根据特征点所在的图像尺度进行局部区域图像的裁剪。将该局部区域图像输入到具有中间层的卷积神经网络中，并提取卷积神经网络的中间层输出向量作为该特征点的特征描述子；对相邻两帧图像中的特征描述子进行特征点匹配，根据得到的特征匹配关系采用帧间运动估计算法估计相邻两帧图像之间机器人的位姿变化。
对特征点的提取，可根据应用场景选取恰当的特征点提取算法。包括SIFT特征采用DOG算法提取特征点、SURF特征采用Hessian Matrix算法提取特征点、ORB特征采用改进的FAST算法提取特征点等类似的特征点提取算法。
所述卷积神经网络包括卷积层和池化层。在实际应用中，往往使用多层卷积，然后再使用全连接层进行训练，多层卷积的目的是一层卷积学到的特征往往是局部的，层数越高，学到的特征就越全局化。
本发明的卷积神经网络可以利用预训练的AlexNet模型或Overfeat模型，也可以基于其他实测数据库对预训练网络再训练和参数调优，如Places等公共数据图像库。
本发明对相邻两帧图像中的特征描述子通过近似最近邻等方法进行相邻两帧间的特征点匹配，根据得到的特征匹配关系采用帧间运动估计算法估计相邻两帧图像之间机器人的位姿变化。
本发明采用的帧间运动估计算法主要包括：采用三点算法（特征点3D位置已知）、五点算法、八点算法或PnP()算法计算特征点匹配的基本矩阵并剔除误配点，然后采用最小二乘算法结合随机采样RANSAC算法获得所述相邻两帧图像之间机器人的位姿变化。
摄像机在3D场景中前后两个时刻之间的任何运动都可以分解为旋转和平移两个部分，运动参数的估计问题就是要估计出旋转矩阵R和平移向量T。算法主要分为三类，基于本质矩阵，基于光流法和其他方法。目前的研究都集中在基于本质矩阵的方法上。本质矩阵建立了前后图像中特征点集的映射关系。由于在相差一个倍数的意义上，求解本质矩阵最少只需要3个匹配点或5个匹配点或8个匹配点即可完成，这种基本的方法称之为三点算法、五点算法、八点算法。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (8)

1.基于卷积神经网络特征描述子的机器人帧间位姿估计方法，首先采用特征点提取算法提取当前帧图像中的特征点，其特征在于：裁剪以所述特征点位置为中心的局部区域图像，将该局部区域图像输入到具有中间层的卷积神经网络中，并提取卷积神经网络的中间层输出向量作为该特征点的特征描述子；对相邻两帧图像中的特征描述子进行特征点匹配，根据得到的特征匹配关系采用帧间运动估计算法估计相邻两帧图像之间机器人的位姿变化。
2.根据权利要求1所述的方法，其特征在于：当所述特征点为多尺度特征时，根据特征点所在的图像尺度进行局部区域图像的裁剪。
3.根据权利要求1所述的方法，其特征在于：所述特征点包括SIFT特征、SURF特征或ORB特征中的一种。
4.根据权利要求3所述的方法，其特征在于：需提取SIFT特征时，采用DOG算法；需提取SURF特征时，采用Hessian Matrix算法；需提取ORB特征时，采用FAST算法。
5.根据权利要求1所述的方法，其特征在于：所述卷积神经网络采用预训练的AlexNet模型、Overfeat模型或基于实测数据库对预训练网络再训练和参数调优的数据库。
6.根据权利要求1所述的方法，其特征在于：对相邻两帧图像中的特征描述子采用近似最近邻方法进行特征点匹配，根据得到的特征匹配关系估计采用帧间运动估计算法相邻两帧图像之间机器人的位姿变化。
7.根据权利要求1所述的方法，其特征在于：所述帧间运动估计算法包括：采用三点算法计算特征点匹配的基本矩阵并剔除误配点，然后采用最小二乘算法结合随机采样RANSAC算法获得所述相邻两帧图像之间机器人的位姿变化。
8.根据权利要求7所述的方法，其特征在于：所述三点算法替换为五点算法、八点算法或PnP算法。
CN201710018461.5A 2017-01-11 2017-01-11 基于卷积神经网络特征描述子的机器人帧间位姿估计方法 Pending CN106780484A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710018461.5A CN106780484A (zh) 2017-01-11 2017-01-11 基于卷积神经网络特征描述子的机器人帧间位姿估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710018461.5A CN106780484A (zh) 2017-01-11 2017-01-11 基于卷积神经网络特征描述子的机器人帧间位姿估计方法

Publications (1)

Publication Number Publication Date
CN106780484A true CN106780484A (zh) 2017-05-31

Family

ID=58947446

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710018461.5A Pending CN106780484A (zh) 2017-01-11 2017-01-11 基于卷积神经网络特征描述子的机器人帧间位姿估计方法

Country Status (1)

Country Link
CN (1) CN106780484A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108426566A (zh) * 2018-02-28 2018-08-21 中国计量大学 一种基于多摄像机的移动机器人定位方法
CN108510062A (zh) * 2018-03-29 2018-09-07 东南大学 一种基于级联卷积神经网络的机器人非规则物体抓取位姿快速检测方法
CN108648216A (zh) * 2018-04-19 2018-10-12 长沙学院 一种基于光流与深度学习的视觉里程计实现方法和系统
CN108875844A (zh) * 2018-07-20 2018-11-23 清华大学苏州汽车研究院（吴江） 激光雷达图像与摄像机图像的匹配方法及系统
CN109323709A (zh) * 2017-07-31 2019-02-12 株式会社理光 视觉里程计方法、装置和计算机可读存储介质
CN109840921A (zh) * 2019-01-29 2019-06-04 北京三快在线科技有限公司 无人驾驶任务结果的确定方法、装置及无人驾驶设备
CN109978924A (zh) * 2017-12-27 2019-07-05 长沙学院 一种基于单目的视觉里程计实现方法和系统
CN110189366A (zh) * 2019-04-17 2019-08-30 北京迈格威科技有限公司 一种激光粗配准方法、装置、移动终端及存储介质
CN110503684A (zh) * 2019-08-09 2019-11-26 北京影谱科技股份有限公司 相机位姿估计方法和装置
CN110516731A (zh) * 2019-08-20 2019-11-29 北京影谱科技股份有限公司 一种基于深度学习的视觉里程计特征点检测方法及系统
WO2019242251A1 (zh) * 2018-06-21 2019-12-26 北京三快在线科技有限公司 一种定位方法、装置及移动设备
CN110631588A (zh) * 2019-09-23 2019-12-31 电子科技大学 一种基于rbf网络的无人机视觉导航定位方法
CN112648997A (zh) * 2019-10-10 2021-04-13 成都鼎桥通信技术有限公司 一种基于多任务网络模型定位的方法及系统
CN113112547A (zh) * 2021-04-23 2021-07-13 北京云迹科技有限公司 机器人及其重定位方法、定位装置及存储介质
CN114677444A (zh) * 2022-05-30 2022-06-28 杭州蓝芯科技有限公司 一种优化的视觉slam方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101521740A (zh) * 2009-04-01 2009-09-02 北京航空航天大学 基于多尺度不变特征的实时运动估计方法
CN104077613A (zh) * 2014-07-16 2014-10-01 电子科技大学 一种基于级联多级卷积神经网络的人群密度估计方法
CN105590099A (zh) * 2015-12-22 2016-05-18 中国石油大学(华东) 一种基于改进卷积神经网络的多人行为识别方法
CN105654037A (zh) * 2015-12-21 2016-06-08 浙江大学 一种基于深度学习和特征图像的肌电信号手势识别方法
CN106127243A (zh) * 2016-06-22 2016-11-16 上海师范大学 一种基于二值化sift描述子的图像匹配方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101521740A (zh) * 2009-04-01 2009-09-02 北京航空航天大学 基于多尺度不变特征的实时运动估计方法
CN104077613A (zh) * 2014-07-16 2014-10-01 电子科技大学 一种基于级联多级卷积神经网络的人群密度估计方法
CN105654037A (zh) * 2015-12-21 2016-06-08 浙江大学 一种基于深度学习和特征图像的肌电信号手势识别方法
CN105590099A (zh) * 2015-12-22 2016-05-18 中国石油大学(华东) 一种基于改进卷积神经网络的多人行为识别方法
CN106127243A (zh) * 2016-06-22 2016-11-16 上海师范大学 一种基于二值化sift描述子的图像匹配方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
GABRIELE COSTANTE 等: ""Exploring Representation Learning With CNNs for Frame-to-Frame Ego-Motion Estimation"", 《IEEE》 *
MUNEEB SHAHID 等: ""DTLC: Deeply Trained Loop Closure Detections for Lifelong Visual SLAM"", 《ROBOTICS:SCIENCE AND SYSTEMS》 *
NIKO SÜNDERHAUF 等: ""On the Performance of ConvNet Features for Place Recognition"", 《2015 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS》 *
NIKO SÜNDERHAUF 等: ""Place Recognition with ConvNet Landmarks: Viewpoint-Robust, Condition-Robust, Training-Free"", 《ROBOTICS: SCIENCE AND SYSTEMS 2015》 *
XIANG GAO,TAO ZHANG: ""Loop Closure Detection for Visual SLAM Systems Using Deep Neural Networks"", 《PROCEEDINGS OF THE 34TH CHINESE CONTROL CONFERENCE》 *
林辉灿 等: ""稀疏和稠密的VSLAM的研究进展"", 《机器人》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109323709A (zh) * 2017-07-31 2019-02-12 株式会社理光 视觉里程计方法、装置和计算机可读存储介质
CN109323709B (zh) * 2017-07-31 2022-04-08 株式会社理光 视觉里程计方法、装置和计算机可读存储介质
CN109978924A (zh) * 2017-12-27 2019-07-05 长沙学院 一种基于单目的视觉里程计实现方法和系统
CN108426566B (zh) * 2018-02-28 2020-09-01 中国计量大学 一种基于多摄像机的移动机器人定位方法
CN108426566A (zh) * 2018-02-28 2018-08-21 中国计量大学 一种基于多摄像机的移动机器人定位方法
CN108510062A (zh) * 2018-03-29 2018-09-07 东南大学 一种基于级联卷积神经网络的机器人非规则物体抓取位姿快速检测方法
CN108648216A (zh) * 2018-04-19 2018-10-12 长沙学院 一种基于光流与深度学习的视觉里程计实现方法和系统
WO2019242251A1 (zh) * 2018-06-21 2019-12-26 北京三快在线科技有限公司 一种定位方法、装置及移动设备
CN108875844A (zh) * 2018-07-20 2018-11-23 清华大学苏州汽车研究院（吴江） 激光雷达图像与摄像机图像的匹配方法及系统
CN109840921A (zh) * 2019-01-29 2019-06-04 北京三快在线科技有限公司 无人驾驶任务结果的确定方法、装置及无人驾驶设备
CN110189366A (zh) * 2019-04-17 2019-08-30 北京迈格威科技有限公司 一种激光粗配准方法、装置、移动终端及存储介质
CN110189366B (zh) * 2019-04-17 2021-07-06 北京迈格威科技有限公司 一种激光粗配准方法、装置、移动终端及存储介质
CN110503684A (zh) * 2019-08-09 2019-11-26 北京影谱科技股份有限公司 相机位姿估计方法和装置
CN110516731A (zh) * 2019-08-20 2019-11-29 北京影谱科技股份有限公司 一种基于深度学习的视觉里程计特征点检测方法及系统
CN110516731B (zh) * 2019-08-20 2022-04-29 北京影谱科技股份有限公司 一种基于深度学习的视觉里程计特征点检测方法及系统
CN110631588A (zh) * 2019-09-23 2019-12-31 电子科技大学 一种基于rbf网络的无人机视觉导航定位方法
CN112648997A (zh) * 2019-10-10 2021-04-13 成都鼎桥通信技术有限公司 一种基于多任务网络模型定位的方法及系统
CN113112547A (zh) * 2021-04-23 2021-07-13 北京云迹科技有限公司 机器人及其重定位方法、定位装置及存储介质
CN114677444A (zh) * 2022-05-30 2022-06-28 杭州蓝芯科技有限公司 一种优化的视觉slam方法

Similar Documents

Publication Publication Date Title
CN106780484A (zh) 基于卷积神经网络特征描述子的机器人帧间位姿估计方法
CN111563442B (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及系统
Sadeghian et al. Sophie: An attentive gan for predicting paths compliant to social and physical constraints
Gurghian et al. Deeplanes: End-to-end lane position estimation using deep neural networksa
CN106780631B (zh) 一种基于深度学习的机器人闭环检测方法
CN107741234A (zh) 一种基于视觉的离线地图构建及定位方法
CN109597087A (zh) 一种基于点云数据的3d目标检测方法
CN109325979A (zh) 基于深度学习的机器人回环检测方法
CN111178170B (zh) 一种手势识别方法和一种电子设备
CN110986945B (zh) 基于语义高度地图的局部导航方法和系统
CN106327528A (zh) 无人机运动目标跟踪方法及无人机的工作方法
CN108089695A (zh) 一种控制可移动设备的方法和装置
Zhuang et al. Instance segmentation based 6D pose estimation of industrial objects using point clouds for robotic bin-picking
Yang et al. Large-scale 3D semantic mapping using stereo vision
Zhu et al. A review of 6d object pose estimation
Zhou et al. Robust global localization by using global visual features and range finders data
Zhu et al. Fusing panoptic segmentation and geometry information for robust visual slam in dynamic environments
CN114689038A (zh) 基于机器视觉的果实检测定位与果园地图构建方法
CN113112547A (zh) 机器人及其重定位方法、定位装置及存储介质
Pershina et al. Methods of mobile robot visual navigation and environment mapping
CN111862147A (zh) 视频中多车辆和多行人目标的跟踪方法
CN110826575A (zh) 一种基于机器学习的水下目标识别方法
Lai et al. A survey of deep learning application in dynamic visual SLAM
Islam et al. A semantically aware place recognition system for loop closure of a visual SLAM system
Chi et al. Low-latency Visual-based High-Quality 3D Reconstruction using Point Cloud Optimization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170531

RJ01 Rejection of invention patent application after publication