CN109934857B - 一种基于卷积神经网络与orb特征的回环检测方法 - Google Patents
一种基于卷积神经网络与orb特征的回环检测方法 Download PDFInfo
- Publication number
- CN109934857B CN109934857B CN201910160239.8A CN201910160239A CN109934857B CN 109934857 B CN109934857 B CN 109934857B CN 201910160239 A CN201910160239 A CN 201910160239A CN 109934857 B CN109934857 B CN 109934857B
- Authority
- CN
- China
- Prior art keywords
- image
- point
- neural network
- convolutional neural
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于卷积神经网络与ORB特征的回环检测方法,包括以下步骤:将新图像i加入图像序列;利用卷积神经网络提取图像i与图像序列中其他图像的特征向量并计算其余弦相似度;将相似度大于阈值的图象i和图象j进行ORB特征提取;对图像i和图像j进行特征匹配,若两幅图像最终匹配到的特征点的正确对数大于设定阈值则认为出现回环。由于本发明通过使用卷积神经网络代替传统词袋法,提高了回环检测的速度与准确性。由于本发明将卷积神经网络与ORB特征相结合从而降低误匹配概率。
Description
技术领域
本发明属于智能移动机器人领域,尤其涉及一种基于卷积神经网络与ORB特征的回环检测方法。
背景技术
现阶段汽车无人驾驶技术十分火热,人们都在憧憬着智能交通时代的到来。而对于无人驾驶的研究直接实车试验成本太高而且危险性较大,因此各大高校级科研机构更青睐于利用成本较低的轮式移动机器人来进行科研研究,然后再将研究成果嫁接到实车上。而对于一个智能移动机器人来说,主要需要具备以下几个基本功能:
定位:机器人要能依靠自身携带的传感器精确确定自身位置信息;
导航:机器人能顺利从起点到达指定位置并成功避开障碍物。
在室外环境中机器人可以依靠GPS和高精度地图来实现自身定位与导航,但是在室内环境下、GPS信号较弱导致定位偏差较大。因此SLAM技术便应运而生,SLAM,全称叫做SimultaneousLocalizationandMapping,即同时定位与建图。
现在的SLAM算法一般包括两个部分:前端与后端。前端即视觉里程计的建立,包括帧间运动计算及局部点云地图拼接。后端包括地图优化和回环检测,其中回环检测是确保建立的地图趋近真实环境的关键步骤,因为在建图过程中不可避免的会出现误差,随着误差的累计、地图的偏移会越来越大,只有通过检测到正确的回环才能消除这一误差。
传统的SLAM算法中多采用词袋法进行回环检测,词袋法在检测之前需要加载一个很大的词典而且词袋法的检测区分度不高,检测速度也比较慢。因此会极大地影响SLAM算法整体的实时性与准确性。
发明内容
为解决现有技术存在的上述问题,本发明要设计一种实时性与准确性好的基于卷积神经网络与ORB特征的回环检测方法。
为了实现上述目的,本发明的技术方案如下:一种基于卷积神经网络与ORB特征的回环检测方法,包括以下步骤:
A、新图像i输入
将新图像i加入图像序列:图像1、图像2、......、图像i。
B、计算图像i与图像序列中其他图像的特征向量的余弦相似度
将图像i输入到SqueezeNet卷积神经网络,其中输入图像的格式为224×224的三通道RGB图像,提取SqueezeNet卷积神经网络的avgpool10层输出的1000维数组A(a1,a2,a3,···,a1000)作为此图像的特征向量。
同理依次获得图像1、图象2、......、图象i-1的特征向量B1(b(1,1),b(1,2),b(1,3),···,b(1,1000))、B2(b(2,1),b(2,2),b(2,3),···,b(2,1000))、......、Bi-1(b(i-1,1),b(i-1,2),b(i-1,3),···,b(i-1,1000));
B1、令j=1
B2、按下式计算A与Bj的余弦相似度:
若A与Bj的余弦相似度大于设定的阈值则转步骤C;否则,判断j是否等于i,如果是,则转步骤A;如果否,则令j=j+1,转步骤B2。
C、对图象i和图象j进行ORB特征提取。ORB特征由关键点和描述子两部分组成,它的关键点称为“OrientedFAST”,是一种改进的FAST角点,它的描述子称为BRIEF。具体包括以下步骤:
C1、FAST角点提取:FAST角点是指图像中灰度梯度变化较大的地方,首先取图像中的一个像素点,然后对比此点的灰度值与以此点为圆心半径为3的圆上的16个像素的灰度值,若有连续N个点大于或者小于设定的阈值则认为此点为角点。另外,为了解决角点不具备方向性的问题还要为其增加尺度不变性和旋转特性的描述。尺度不变性是通过构建图像金字塔然后对每一层的图像进行角点检测来实现。旋转特性是通过灰度质心法来获取的,具体步骤如下:
尺度不变性是通过构建图像金字塔并对其中每一层的图像进行特征点检测,然后将共同检测到的特征点认定为正确检测结果。旋转特性由灰度质心法来描述,灰度质心法即由灰度值来确定图像的质心,如在一个图像块M中定义图像块的矩m为:
其中,p={0,1},q={0,1};
则图像块块M的质心C为:
C2、BRIEF描述子提取:BRIEF描述子是一种二进制描述子,它的描述向量由多个0和1组成,这里的0和1编码了关键点附近两个像素p和q的大小关系:如果p比q大,则取1,反之就取0。如果取了128个这样的p和q,最后就得到128维由0和1组成的向量。
结合之前FAST角点的旋转特性便得到具有旋转特性的BRIEF描述子。
D、对图像i和图像j进行特征匹配。特征点匹配采用快速最邻近搜索算法,即:FLANN算法,首先通过建立随机K-D树找到图像中某个特征点在图像j中的对应点,然后计算两个特征点BRIEF描述子的汉明距离。将图像中匹配出的距离最小的点的距离记做D,取4×D为筛选标准对所有的配对点进行筛选,将距离小于4×D的点认为正确匹配点。最后对图像i做同样操作,将两者共同匹配到的点作为最终匹配点。
若两幅图像最终匹配到的特征点的对数大于设定阈值则认为出现回环,结束;否则,转步骤A。
与现有技术相比,本发明具有以下有益效果:
1、由于本发明通过使用卷积神经网络代替传统词袋法,提高了回环检测的速度与准确性。
2、由于本发明将卷积神经网络与ORB特征相结合从而减小误匹配概率。
附图说明
图1为本方法的运行主流程图;
图2为步骤B流程图;
图3为步骤C流程图;
图4为步骤D流程图;
图5为SqueezeNet卷积神将网络的结构图。
具体实施方式
下面通过附图对本发明作进一步地说明。SqueezeNet是由UCBerkeley和Stanford研究人员一起设计的,其设计的初衷并不是为了达到最佳的CNN识别精度,而是希望简化网络复杂度,同时达到public网络的识别精度,因此此网络适合于轻量级计算设备,如智能移动机器人上。SqueezeNet的网络结构如图5所示,其一共有14层,可以将224×224×3的图像最终转化为1000维数组。
SqueezeNet主要是通过降低卷积核大小、减小池化层尺寸和去除部分全连接层等方法来降低网络的参数数量,从而可以提高提取图像特征的速度。
本方法的具体运行流程如图1-4所示,将新图像i输入SqueezeNet卷积神经网络,其中输入图像的格式为224×224的三通道RGB图像,提取其avgpool10层输出的1000维数组A(a1,a2,a3,···,a1000)作为此图像的特征向量。
将此图像的特征向量与图像序列中其他图像的特征向量进行余弦相似度计算,若其中图像j与图像i的特征向量的余弦相似度大于设定的阈值则继续进行下一步,否则选取新的图像重复以上步骤。
对图像i与图像j进行ORB特征提取。ORB特征由关键点和描述子两部分组成,它的关键点称为“OrientedFAST”,是一种改进的FAST角点,它的描述子称为BRIEF(BinaryRobustIndependentElementaryFeatures)。因此,ORB特征的提取分为两步:
FAST角点提取:FAST角点是指图像中灰度梯度变化较大的地方,首先取图像中的一个像素点,然后对比此点的灰度值与以此点为圆心半径为3的圆上的16个像素的灰度值,若有连续N个点大于或者小于设定的阈值则认为此点为角点。另外,为了解决角点不具备方向性的问题还要为其增加尺度不变性和旋转特性的描述。尺度不变性是通过构建图像金字塔然后对每一层的图像进行角点检测来实现。旋转特性是通过灰度质心法来获取的。
BRIEF描述子:BRIEF是一种二进制描述子,它的描述向量由许多个0和1组成,这里的0和1编码了关键点附近两个像素(比如说p和q)的大小关系:如果p比q大,则取1,反之就取0。如果取了128个这样的p和q,最后就得到128维由0和1组成的向量。结合之前FAST角点的旋转特性便可以得到具有旋转特性的BRIEF描述子。
当图像的特征提取完毕后便要进行特征点的匹配。特征点匹配采用FLANN算法,首先通过建立随机K-D树找到图像中某个特征点在图像j中的对应点,然后计算两个特征点BRIEF描述子的汉明距离。将图像中匹配出的距离最小的点的距离记做D,一般取4×D为筛选标准对所有的配对点进行筛选,将距离小于4×D的点认为正确匹配点。最后对图像i做同样操作,将两者共同匹配到的点作为最终匹配点。
若图像i与图像j最终匹配到的特征点的对数大于设定阈值则认为出现回环,否则退出流程。
本发明不局限于本实施例,任何在本发明披露的技术范围内的等同构思或者改变,均列为本发明的保护范围。
Claims (1)
1.一种基于卷积神经网络与ORB特征的回环检测方法,其特征在于:包括以下步骤:
A、新图像i输入
将新图像i加入图像序列:图像1、图像2、......、图像i;
B、计算图像i与图像序列中其他图像的特征向量的余弦相似度
将图像i输入到SqueezeNet卷积神经网络,其中输入图像的格式为224×224的三通道RGB图像,提取SqueezeNet卷积神经网络的avgpool10层输出的1000维数组A(a1,a2,a3,···,a1000)作为此图像的特征向量;
同理依次获得图像1、图象2、......、图象i-1的特征向量B1(b(1,1),b(1,2),b(1,3),···,b(1,1000))、B2(b(2,1),b(2,2),b(2,3),···,b(2,1000))、......、Bi-1(b(i-1,1),b(i-1,2),b(i-1,3),···,b(i-1,1000));
B1、令j=1
B2、按下式计算A与Bj的余弦相似度:
若A与Bj的余弦相似度大于设定的阈值则转步骤C;否则,判断j是否等于i,如果是,则转步骤A;如果否,则令j=j+1,转步骤B2;
C、对图象i和图象j进行ORB特征提取;ORB特征由关键点和描述子两部分组成,它的关键点称为“OrientedFAST”,是一种改进的FAST角点,它的描述子称为BRIEF;具体包括以下步骤:
C1、FAST角点提取:首先取图像中的一个像素点,然后对比此点的灰度值与以此点为圆心半径为3的圆上的16个像素的灰度值,若有连续N个点大于或者小于设定的阈值则认为此点为角点;另外,为了解决角点不具备方向性的问题还要为其增加尺度不变性和旋转特性的描述;尺度不变性是通过构建图像金字塔然后对每一层的图像进行角点检测来实现;旋转特性是通过灰度质心法来获取的,具体步骤如下:
尺度不变性是通过构建图像金字塔并对其中每一层的图像进行特征点检测,然后将共同检测到的特征点认定为正确检测结果;旋转特性由灰度质心法来描述,灰度质心法即由灰度值来确定图像的质心,如在一个图像块M中定义图像块的矩mpq为:
其中,p={0,1},q={0,1};
则图像块M的质心C为:
C2、BRIEF描述子提取:BRIEF描述子是一种二进制描述子,它的描述向量由多个0和1组成,这里的0和1编码了关键点附近两个像素p和q的大小关系:如果p比q大,则取1,反之就取0;如果取了128个这样的p和q,最后就得到128维由0和1组成的向量;
结合之前FAST角点的旋转特性便得到具有旋转特性的BRIEF描述子;
D、对图像i和图像j进行特征匹配;特征点匹配采用快速最邻近搜索算法,即:FLANN算法,首先通过建立随机K-D树找到图像中某个特征点在图像j中的对应点,然后计算两个特征点BRIEF描述子的汉明距离;将图像中匹配出的距离最小的点的距离记做D,取4×D为筛选标准对所有的配对点进行筛选,将距离小于4×D的点认为正确匹配点;最后对图像i做同样操作,将两者共同匹配到的点作为最终匹配点;
若两幅图像最终匹配到的特征点的对数大于设定阈值则认为出现回环,结束;否则,转步骤A。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910160239.8A CN109934857B (zh) | 2019-03-04 | 2019-03-04 | 一种基于卷积神经网络与orb特征的回环检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910160239.8A CN109934857B (zh) | 2019-03-04 | 2019-03-04 | 一种基于卷积神经网络与orb特征的回环检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109934857A CN109934857A (zh) | 2019-06-25 |
CN109934857B true CN109934857B (zh) | 2021-03-19 |
Family
ID=66986352
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910160239.8A Active CN109934857B (zh) | 2019-03-04 | 2019-03-04 | 一种基于卷积神经网络与orb特征的回环检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109934857B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110889361A (zh) * | 2019-11-20 | 2020-03-17 | 北京影谱科技股份有限公司 | 基于图像序列的orb特征视觉里程计学习方法和装置 |
CN112270384B (zh) * | 2020-11-19 | 2023-06-13 | 湖南国科微电子股份有限公司 | 一种回环检测方法、装置及电子设备和存储介质 |
CN113326856B (zh) * | 2021-08-03 | 2021-12-03 | 电子科技大学 | 基于匹配困难度的自适应的两阶段特征点匹配方法 |
CN115439673B (zh) * | 2022-11-10 | 2023-03-24 | 中山大学 | 基于扇形卷积神经网络的图像特征匹配方法 |
CN117372893A (zh) * | 2023-02-03 | 2024-01-09 | 河海大学 | 一种基于改进遥感图像特征匹配算法的洪涝灾害评估方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9870624B1 (en) * | 2017-01-13 | 2018-01-16 | Otsaw Digital Pte. Ltd. | Three-dimensional mapping of an environment |
CN107680133A (zh) * | 2017-09-15 | 2018-02-09 | 重庆邮电大学 | 一种基于改进闭环检测算法的移动机器人视觉slam方法 |
CN108986168A (zh) * | 2018-06-13 | 2018-12-11 | 深圳市感动智能科技有限公司 | 一种基于深度度量学习结合词袋树模型的机器人回环检测方法和装置 |
CN109376631A (zh) * | 2018-10-12 | 2019-02-22 | 中国人民公安大学 | 一种基于神经网络的回环检测方法及装置 |
CN109409418A (zh) * | 2018-09-29 | 2019-03-01 | 中山大学 | 一种基于词袋模型的回环检测方法 |
-
2019
- 2019-03-04 CN CN201910160239.8A patent/CN109934857B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9870624B1 (en) * | 2017-01-13 | 2018-01-16 | Otsaw Digital Pte. Ltd. | Three-dimensional mapping of an environment |
CN107680133A (zh) * | 2017-09-15 | 2018-02-09 | 重庆邮电大学 | 一种基于改进闭环检测算法的移动机器人视觉slam方法 |
CN108986168A (zh) * | 2018-06-13 | 2018-12-11 | 深圳市感动智能科技有限公司 | 一种基于深度度量学习结合词袋树模型的机器人回环检测方法和装置 |
CN109409418A (zh) * | 2018-09-29 | 2019-03-01 | 中山大学 | 一种基于词袋模型的回环检测方法 |
CN109376631A (zh) * | 2018-10-12 | 2019-02-22 | 中国人民公安大学 | 一种基于神经网络的回环检测方法及装置 |
Non-Patent Citations (3)
Title |
---|
《Implementation of Hybrid Deep Learning Architecture on Loop-Closure Detection》;Sudong Cai,et al.;《Proceedings of the 2018 13th World Congress on Intelligent Control and Automation》;20180708;第521-526页 * |
《Loop closure detection for visual SLAM systems using convolutional neural network》;Xiwu Zhang,et al;《2017 23rd International Conference on Automation and Computing》;20171026;第1-6页 * |
《一种结合ORB特征和视觉词典的RGB-D SLAM 算法》;张震,等;《计算机工程与应用》;20181231;第54卷(第12期);第170-176页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109934857A (zh) | 2019-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109934857B (zh) | 一种基于卷积神经网络与orb特征的回环检测方法 | |
CN111028277B (zh) | 基于伪孪生卷积神经网络的sar和光学遥感图像配准方法 | |
CN111862126B (zh) | 深度学习与几何算法结合的非合作目标相对位姿估计方法 | |
CN104200495B (zh) | 一种视频监控中的多目标跟踪方法 | |
CN113205466A (zh) | 一种基于隐空间拓扑结构约束的残缺点云补全方法 | |
CN113313763B (zh) | 一种基于神经网络的单目相机位姿优化方法及装置 | |
WO2021203807A1 (zh) | 一种基于多源数据知识迁移的三维物体检测框架 | |
CN114088081B (zh) | 一种基于多段联合优化的用于精确定位的地图构建方法 | |
CN110569861A (zh) | 一种基于点特征和轮廓特征融合的图像匹配定位方法 | |
CN116222577B (zh) | 闭环检测方法、训练方法、系统、电子设备及存储介质 | |
CN113406659A (zh) | 一种基于激光雷达信息的移动机器人位置重识别方法 | |
CN112150358A (zh) | 一种抗大几何畸变的影像特征匹配方法 | |
CN114842447A (zh) | 一种基于卷积神经网络的车位快速识别方法 | |
CN117213470B (zh) | 一种多机碎片地图聚合更新方法及系统 | |
Liu et al. | SRM-FPN: a small target detection method based on FPN optimized feature | |
Khemmar et al. | Real time pedestrian and object detection and tracking-based deep learning. application to drone visual tracking | |
CN114998630B (zh) | 一种从粗到精的地对空图像配准方法 | |
CN116704304A (zh) | 一种混合注意力机制的多模态融合目标检测方法 | |
Gu et al. | An improved loop closure detection for RatSLAM | |
CN116385477A (zh) | 一种基于图像分割的杆塔图像配准方法 | |
CN115187614A (zh) | 一种基于stdc语义分割网络的实时同时定位与建图方法 | |
Chen et al. | A Model of Real-time Pose Estimation Fusing Camera and LiDAR in Simultaneous Localization and Mapping by a Geometric Method. | |
Xiang et al. | Learnable Upsampling-Based Point Cloud Semantic Segmentation | |
Liu et al. | An improved ORB-SLAM algorithm for mobile robots | |
Lu et al. | Fast Learning-Based 3-D Lidar Localization with Multiscale Feature Recursive Matching for Autonomous Driving |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |