CN111753752B - 基于卷积神经网络多层特征融合的机器人闭环检测方法 - Google Patents
基于卷积神经网络多层特征融合的机器人闭环检测方法 Download PDFInfo
- Publication number
- CN111753752B CN111753752B CN202010597702.8A CN202010597702A CN111753752B CN 111753752 B CN111753752 B CN 111753752B CN 202010597702 A CN202010597702 A CN 202010597702A CN 111753752 B CN111753752 B CN 111753752B
- Authority
- CN
- China
- Prior art keywords
- image
- fusion
- feature
- neural network
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 52
- 238000001514 detection method Methods 0.000 title claims abstract description 40
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 35
- 230000009467 reduction Effects 0.000 claims abstract description 26
- 238000010606 normalization Methods 0.000 claims abstract description 7
- 238000013528 artificial neural network Methods 0.000 claims abstract description 4
- 238000010586 diagram Methods 0.000 claims abstract description 4
- 239000013598 vector Substances 0.000 claims description 25
- 238000000034 method Methods 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000000513 principal component analysis Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 230000007423 decrease Effects 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 9
- 238000005286 illumination Methods 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明请求保护一种基于卷积神经网络多层特征融合的机器人闭环检测方法，该方法包括步骤：S1，利用卷积神经网络作为特征提取器，将环境图像输入预训练的网络提取不同层特征；S2，建立浅层几何特征与深层语义特征融合模块，将不同层特征进行加权融合；S3，当前图像与历史关键图像的融合特征进行L2归一化后采用PCA降维处理；S4，定义相识性评分体系，将处理后的两组融合特征输入评分体系检测闭环。本发明在光照变化的环境下，闭环检测的算法相较于其他算法，不仅保证了输出特征图的细节信息和语义信息，而且本算法在实现实时性的同时具有更强的鲁棒性和较高的准确性。
Description
技术领域
本发明属于移动机器人自主导航领域，特别是一种基于卷积神经网络多层特征融合的闭环检测方法。
背景技术
同时定位与构图(Simultaneous localization and mapping,SLAM)是机器人在未知环境中确定自身位姿信息并实现自主移动的关键技术。闭环检测是视觉SLAM的关键部分之一，该模块对构建全局一致性的地图具有重要意义。目前，视觉闭环检测可认为是图像匹配问题，算法主要对当前位置图像与已访问过的位置图像进行匹配，因此闭环检测模块包含图像描述和相似性计算两部分。
当前视觉SLAM中闭环检测的方法主要分为两类：基于视觉词袋模型、基于深度学习。视觉词袋(BoVW)将图像的局部特征聚类成视觉单词以表征图像。Mark等人提出基于SURF特征的闭环检测框架FAB-MAP，将提取的特征聚类构成视觉字典，用单词描述图像。DBoW2是使用BRIEF描述符和FAST算子提取特征生成二进制词袋。在基于ORB-SLAM2系统的闭环检测模块中，视觉词袋是利用ORB提取的特征描述子构建。视觉词袋模型由于依赖人工设计的特征，只能在相对稳定的室内才有较好的检测效果，当在光照变化明显的环境下闭环检测的准确性会下降。因此，随着深度学习技术的快速发展及广泛应用，自2015年，研究者首次将深度学习引入闭环检测模块。Hou等人提出使用Places-CNN模型提取中间各层的特征用于测试，选取特征性能最好的一层作为最终网络的输出。实验结果表明在光照变化下该方法明显优于传统视觉词袋的方法。2017年，Gao等人提出了一种基于堆叠式降噪自动编码器(SDA)的新颖方法，它以无监督的方式从原始输入数据中自主学习特征以表示图像。Qiang等人提出使用AlexNet网络获取图像特征，对CNN每个通道激活聚类，其聚类中心代表一个视觉单词，创建基于CNN单词的单词对，用于对空间信息进行编码。以上研究方案仅采用CNN的深层语义特征表示图像信息，受光照变化影响特征对图像细节的表征能力问题尚需继续研究。
本发明主要解决的是解决受光照变化影响特征对图像细节的表征不足，思路是采用融合卷积特征替代卷积特征提高图像表征能力。
发明内容
本发明旨在解决以上现有技术的问题。提出了一种基于卷积神经网络多层特征融合的闭环检测方法。本发明的技术方案如下：
一种基于卷积神经网络多层特征融合的闭环检测方法，其包括以下步骤：
S1、将移动机器人搭载的传感器采集的当前位置图像与历史关键图像进行缩放预处理，采用最邻近插值算法对图像进行缩放后输入预训练卷积神经网络；
S2、利用卷积神经网络作为特征提取器，选择OverFeat网络提取当前位置图像与历史关键图像不同卷积层的特征图；
S3、设计并建立浅层几何特征与深层语义特征的融合模块，浅层几何特征与深层语义特征融合模块用于对图像更好的表征，将不同层特征进行加权融合；
S4、将融合特征进行L2归一化后采用主成分分析PCA降维处理；
S5、为检测是否产生闭环，将当前位置图像与历史关键图像的融合特征降维处理后进行相似性评分，得到最终闭环检测的结果。
进一步的，所述步骤S1将获取到的当前位置图像与历史关键图像进行最邻近插值算法对图像进行缩放预处理，历史关键图像指的是机器人之前访问过的位置生成的关键图，将图像传递给预训练卷积神经网络，预训练卷积神经网络指的是本文选择的OverFeat，需要先对网络进行预先的学习训练，学习后的网络才能应用于图像检索，具体原始图像尺寸为640×480，通过以下公式缩小为221×221：
式中W,H为原图像的像素大小，w,h缩小后图像的像素大小，假设缩小前的一个像素点为(X,Y)，缩小后的像素点为(x,y),因此缩放后像素点的像素值如下：
最邻近插值算法使用的方法就是四舍五入法，式中表示为[.]。
进一步的，所述步骤S2利用卷积神经网络作为特征提取器，选择OverFeat网络提取图像不同卷积层的特征图，具体包括：
将图像输入给OverFeat网络提取图像不同卷积层的特征图，OverFeat网络由卷积层、最大池层、全连接层组成，并整流线性单元(ReLU)，对网络进行修改，将全连接层改为卷积层，其卷积核大小为5×5，步长为1卷积核个数为4096，具体功能如下：
卷积层用于提取图像的特征；最大池化层保持特征的位置和旋转不变性以增强检测的鲁棒性；ReLU作为非线性激活函数，由下式表示：
ReLU(x)＝max(0,x)
ReLU的使用，使得网络可以自行引入稀疏性，同时大大地提高了训练速度；
训练网络参数设置：训练的min-batchs选择128，神经网络学习是从训练数据中选择一批数据称为min-batchs，小批量，然后对每个min-batchs进行学习；
权重初始化选择高斯分布的随机初始化：
(μ，σ2)＝(0.1×10-2)
μ，σ分别表示高斯分布的期望值、标准差。采用随机梯度下降法，进行优化更新，动量项参数大小选择0.6，L2权重衰减系数大小选择10-5次方，学习率η初始选择0.05，随着迭代次数的增加，η逐渐减小到0.01。
进一步的，所述步骤S3中建立浅层几何特征与深层语义特征融合模块，将不同层特征进行加权融合，具体包括：为将不同层的特征图调整到同一尺度和通道数目，设计调整网络模块，该模块用于调整特征图尺寸，由下采样(subsampled)和卷积层(conv)组成，下采样通过max-pooling来实现，将浅层特征图的尺寸降为5×5；
其中调整网络模块的输出大小可通过下式计算得出下采样及卷积层的参数设置：
式中(H,W)为输入大小，H、W分别表示特征图的高和宽，滤波器大小为FH×FW，输出大小为(OH,OW)，步幅为S；
卷积层参数设置为：滤波器大小为1×1，卷积核个数为4096，该卷积层是为了改变特征图的通道数；
采用加权求和的方式对多层特征进行融合，计算公式如下：
V＝ω1V1+ω2V2+ω3V3
式中V为OverFeat网络提取的每个融合后的特征向量，ω1，ω2，ω3为各层对应的权重，最终得到融合特征大小为1024×5×5。
进一步的，所述步骤S4将融合特征进行L2归一化后采用主成分分析PCA降维处理，具体包括：
上式d表示向量的维度，预处理后假设获得n个归一化融合特征向量，并且组成矩阵X，其中I表示输入图像：
对融合特征矩阵进行PCA降维处理，步骤为：
(1)将原始特征零中心化：
(2)计算数据的协方差矩阵cov,并对其进行奇异值分解(SVD)，以便可以得到列为特征向量的矩阵U，矩阵S的对角项是cov的奇异值：
cov＝XTX
[U,S,W]＝svd(cov)
(3)根据下式将矢量投影到较低维空间，最终将维度减小到500：
进一步的，所述步骤S5为检测是否产生闭环，将当前位置图像与历史关键图像的融合特征降维处理后进行相似性评分，得到最终闭环检测的结果，具体包括：
定义不同图像的融合特征之间的欧几里得距离为闭环检测的相似性评分体系，公式如下：
式中D(i，j)是帧i和j之间的距离，·2是向量L2范数，帧间的相似性评分定义为：
使用归一化后计算距离来获得的得分值位于[0，1]中，以判断是否检测到闭环。
本发明的优点及有益效果如下：
本发明提供了一种基于卷积神经网络多层特征融合的闭环检测方法，在光照变化的环境下，本文闭环检测的算法相较于其他算法，不仅保证了输出特征图的细节信息和语义信息，而且本算法在实现实时性的同时具有更强的鲁棒性和较高的准确性。针对目前主流算法使用CNN直接提取全连接输出向量来计算相似性得分无法在光照变化条件下获得图像的细节信息，导致闭环检测的准确性较低。现有技术人员由于利用深层语义特征应对光照变化，而忽略了光照变化下的细节信息。因此本发明采用多层特征融合，将浅层细节特征与深层语义特征经过特征融合模块提取各层特征，通过设计调整网络模块对特征图进行调整后加权融合，使融合特征包含更多的原始图像的细节信息，提高闭环检测在光照变化下的准确性。
附图说明
图1是本发明提供优选实施例基于卷积神经网络多层特征融合的闭环检测方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是：
如图1所示，本发明提供了一种一种基于卷积神经网络多层特征融合的闭环检测方法，其包括以下步骤：
S1、将移动机器人搭载的传感器采集的当前位置图像与历史关键图像进行缩放预处理，采用最邻近插值算法对图像进行缩放后输入预训练卷积神经网络；
S2、利用卷积神经网络作为特征提取器，选择OverFeat网络提取当前位置图像与历史关键图像不同卷积层的特征图；
S3、设计并建立浅层几何特征与深层语义特征的融合模块，浅层几何特征与深层语义特征融合模块用于对图像更好的表征，将不同层特征进行加权融合；
S4、将融合特征进行L2归一化后采用主成分分析PCA降维处理；
S5、为检测是否产生闭环，将当前位置图像与历史关键图像的融合特征降维处理后进行相似性评分，得到最终闭环检测的结果。
进一步的，所述步骤S1将获取到的当前位置图像与历史关键图像进行最邻近插值算法对图像进行缩放预处理，历史关键图像指的是机器人之前访问过的位置生成的关键图，将图像传递给预训练卷积神经网络，预训练卷积神经网络指的是本文选择的OverFeat，需要先对网络进行预先的学习训练，学习后的网络才能应用于图像检索，具体原始图像尺寸为640×480，通过以下公式缩小为221×221：
式中W,H为原图像的像素大小，w,h缩小后图像的像素大小，假设缩小前的一个像素点为(X,Y)，缩小后的像素点为(x,y),因此缩放后像素点的像素值如下：
最邻近插值算法使用的方法就是四舍五入法，式中表示为[.]。
进一步的，所述步骤S2利用卷积神经网络作为特征提取器，选择OverFeat网络提取图像不同卷积层的特征图，具体包括：
将图像输入给OverFeat网络提取图像不同卷积层的特征图，OverFeat网络由卷积层、最大池层、全连接层组成，并整流线性单元(ReLU)，对网络进行修改，将全连接层改为卷积层，其卷积核大小为5×5，步长为1卷积核个数为4096，具体功能如下：
卷积层用于提取图像的特征；最大池化层保持特征的位置和旋转不变性以增强检测的鲁棒性；ReLU作为非线性激活函数，由下式表示：
ReLU(x)＝max(0,x)
ReLU的使用，使得网络可以自行引入稀疏性，同时大大地提高了训练速度；
训练网络参数设置：训练的min-batchs选择128，神经网络学习是从训练数据中选择一批数据称为min-batchs，小批量，然后对每个min-batchs进行学习；
权重初始化选择高斯分布的随机初始化：
(μ，σ2)＝(0.1×10-2)
μ，σ分别表示高斯分布的期望值、标准差。采用随机梯度下降法，进行优化更新，动量项参数大小选择0.6，L2权重衰减系数大小选择10-5次方，学习率η初始选择0.05，随着迭代次数的增加，η逐渐减小到0.01。
进一步的，所述步骤S3中建立浅层几何特征与深层语义特征融合模块，将不同层特征进行加权融合，具体包括：为将不同层的特征图调整到同一尺度和通道数目，设计调整网络模块，该模块用于调整特征图尺寸，由下采样(subsampled)和卷积层(conv)组成，下采样通过max-pooling来实现，将浅层特征图的尺寸降为5×5；
其中调整网络模块的输出大小可通过下式计算得出下采样及卷积层的参数设置：
式中(H,W)为输入大小，H、W分别表示特征图的高和宽，滤波器大小为FH×FW，输出大小为(OH,OW)，步幅为S；
卷积层参数设置为：滤波器大小为1×1，卷积核个数为4096，该卷积层是为了改变特征图的通道数；
采用加权求和的方式对多层特征进行融合，计算公式如下：
V＝ω1V1+ω2V2+ω3V3
式中V为OverFeat网络提取的每个融合后的特征向量，ω1，ω2，ω3为各层对应的权重，最终得到融合特征大小为1024×5×5。
进一步的，所述步骤S4将融合特征进行L2归一化后采用主成分分析PCA降维处理，具体包括：
上式d表示向量的维度，预处理后假设获得n个归一化融合特征向量，并且组成矩阵X，其中I表示输入图像：
对融合特征矩阵进行PCA降维处理，步骤为：
(4)将原始特征零中心化：
(5)计算数据的协方差矩阵cov,并对其进行奇异值分解(SVD)，以便可以得到列为特征向量的矩阵U，矩阵S的对角项是cov的奇异值：
cov＝XTX
[U,S,W]＝svd(cov)
(6)根据下式将矢量投影到较低维空间，最终将维度减小到500：
进一步的，所述步骤S5为检测是否产生闭环，将当前位置图像与历史关键图像的融合特征降维处理后进行相似性评分，得到最终闭环检测的结果，具体包括：
定义不同图像的融合特征之间的欧几里得距离为闭环检测的相似性评分体系，公式如下：
式中D(i，j)是帧i和j之间的距离，·2是向量L2范数，帧间的相似性评分定义为：
使用归一化后计算距离来获得的得分值位于[0，1]中，以判断是否检测到闭环。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。
Claims (6)
1.一种基于卷积神经网络多层特征融合的闭环检测方法，其特征在于，包括以下步骤：
S1、将移动机器人搭载的传感器采集的当前位置图像与历史关键图像进行缩放预处理，采用最邻近插值算法对图像进行缩放后输入预训练卷积神经网络；
S2、利用卷积神经网络作为特征提取器，选择OverFeat网络提取当前位置图像与历史关键图像不同卷积层的特征图；
S3、设计并建立浅层几何特征与深层语义特征的融合模块，浅层几何特征与深层语义特征融合模块用于对图像更好的表征，将不同层特征进行加权融合；
S4、将融合特征进行L2归一化后采用主成分分析PCA降维处理；
S5、为检测是否产生闭环，将当前位置图像与历史关键图像的融合特征降维处理后进行相似性评分，得到最终闭环检测的结果。
2.根据权利要求1所述的一种基于卷积神经网络多层特征融合的闭环检测方法，其特征在于，所述步骤S1将获取到的当前位置图像与历史关键图像进行最邻近插值算法对图像进行缩放预处理，历史关键图像指的是机器人之前访问过的位置生成的关键图，将图像传递给预训练卷积神经网络，预训练卷积神经网络指的是本文选择的OverFeat，需要先对网络进行预先的学习训练，学习后的网络才能应用于图像检索，具体原始图像尺寸为640×480，通过以下公式缩小为221×221：
式中W,H为原图像的像素大小，w,h缩小后图像的像素大小，假设缩小前的一个像素点为(X,Y)，缩小后的像素点为(x,y),因此缩放后像素点的像素值如下：
最邻近插值算法使用的方法就是四舍五入法，式中表示为[.]。
3.根据权利要求1所述的一种基于卷积神经网络多层特征融合的闭环检测方法，其特征在于，所述步骤S2利用卷积神经网络作为特征提取器，选择OverFeat网络提取图像不同卷积层的特征图，具体包括：
将图像输入给OverFeat网络提取图像不同卷积层的特征图，OverFeat网络由卷积层、最大池层、全连接层组成，并整流线性单元(ReLU)，对网络进行修改，将全连接层改为卷积层，其卷积核大小为5×5，步长为1卷积核个数为4096，具体功能如下：
卷积层用于提取图像的特征；最大池化层保持特征的位置和旋转不变性以增强检测的鲁棒性；ReLU作为非线性激活函数，由下式表示：
ReLU(x)＝max(0,x)
ReLU的使用，使得网络可以自行引入稀疏性，同时大大地提高了训练速度；
训练网络参数设置：训练的min-batchs选择128，神经网络学习是从训练数据中选择一批数据称为min-batchs，小批量，然后对每个min-batchs进行学习；
权重初始化选择高斯分布的随机初始化：
(μ，σ2)＝(0.1×10-2)
μ，σ分别表示高斯分布的期望值、标准差。采用随机梯度下降法，进行优化更新，动量项参数大小选择0.6，L2权重衰减系数大小选择10-5次方，学习率η初始选择0.05，随着迭代次数的增加，η逐渐减小到0.01。
4.根据权利要求3所述的一种基于卷积神经网络多层特征融合的闭环检测方法，其特征在于，所述步骤S3中建立浅层几何特征与深层语义特征融合模块，将不同层特征进行加权融合，具体包括：为将不同层的特征图调整到同一尺度和通道数目，设计调整网络模块，该模块用于调整特征图尺寸，由下采样(subsampled)和卷积层(conv)组成，下采样通过max-pooling来实现，将浅层特征图的尺寸降为5×5；
其中调整网络模块的输出大小可通过下式计算得出下采样及卷积层的参数设置：
式中(H,W)为输入大小，H、W分别表示特征图的高和宽，滤波器大小为FH×FW，输出大小为(OH,OW)，步幅为S；
卷积层参数设置为：滤波器大小为1×1，卷积核个数为4096，该卷积层是为了改变特征图的通道数；
采用加权求和的方式对多层特征进行融合，计算公式如下：
V＝ω1V1+ω2V2+ω3V3
式中V为OverFeat网络提取的每个融合后的特征向量，ω1，ω2，ω3为各层对应的权重，最终得到融合特征大小为1024×5×5。
5.根据权利要求4所述的一种基于卷积神经网络多层特征融合的闭环检测方法，其特征在于，所述步骤S4将融合特征进行L2归一化后采用主成分分析PCA降维处理，具体包括：
上式d表示向量的维度，预处理后假设获得n个归一化融合特征向量，并且组成矩阵X，其中I表示输入图像：
对融合特征矩阵进行PCA降维处理，步骤为：
(1)将原始特征零中心化：
(2)计算数据的协方差矩阵cov,并对其进行奇异值分解(SVD)，以便可以得到列为特征向量的矩阵U，矩阵S的对角项是cov的奇异值：
cov＝XTX
[U,S,W]＝svd(cov)
(3)根据下式将矢量投影到较低维空间，最终将维度减小到500：
6.根据权利要求5所述的一种基于卷积神经网络多层特征融合的闭环检测方法，其特征在于，所述步骤S5为检测是否产生闭环，将当前位置图像与历史关键图像的融合特征降维处理后进行相似性评分，得到最终闭环检测的结果，具体包括：
定义不同图像的融合特征之间的欧几里得距离为闭环检测的相似性评分体系，公式如下：
式中D(i，j)是帧i和j之间的距离，||·||2是向量L2范数，帧间的相似性评分定义为：
使用归一化后计算距离来获得的得分值位于[0，1]中，以判断是否检测到闭环。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010597702.8A CN111753752B (zh) | 2020-06-28 | 2020-06-28 | 基于卷积神经网络多层特征融合的机器人闭环检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010597702.8A CN111753752B (zh) | 2020-06-28 | 2020-06-28 | 基于卷积神经网络多层特征融合的机器人闭环检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111753752A CN111753752A (zh) | 2020-10-09 |
| CN111753752B true CN111753752B (zh) | 2022-07-01 |
Family
ID=72677550
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010597702.8A Active CN111753752B (zh) | 2020-06-28 | 2020-06-28 | 基于卷积神经网络多层特征融合的机器人闭环检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111753752B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112257796A (zh) * | 2020-10-28 | 2021-01-22 | 辽宁工程技术大学 | 一种基于选择性特征连接的卷积神经网络的图像整合方法 |
| CN112288812A (zh) * | 2020-10-30 | 2021-01-29 | 西安工程大学 | 一种基于视觉特征的移动机器人实时定位方法 |
| CN112766305B (zh) * | 2020-12-25 | 2022-04-22 | 电子科技大学 | 一种基于端到端度量网络的视觉slam闭环检测方法 |
| CN113377987B (zh) * | 2021-05-11 | 2023-03-28 | 重庆邮电大学 | 基于ResNeSt-APW的多模块闭环检测方法 |
| CN113326896A (zh) * | 2021-06-25 | 2021-08-31 | 国网上海市电力公司 | 一种基于多类型传感器的融合感知方法 |
| CN113780102B (zh) * | 2021-08-23 | 2024-05-03 | 广州密码营地科技有限公司 | 智能机器人视觉slam闭环检测方法、装置及存储介质 |
| TWI778789B (zh) * | 2021-09-14 | 2022-09-21 | 華新麗華股份有限公司 | 配方建構系統、配方建構方法、內儲程式之電腦可讀取記錄媒體與非暫時性電腦程式產品 |
| CN114092760A (zh) * | 2021-11-05 | 2022-02-25 | 通号通信信息集团有限公司 | 卷积神经网络中自适应特征融合方法及系统 |
| CN115712065B (zh) * | 2023-01-05 | 2023-04-07 | 湖南大学 | 时频旋转门与卷积核感知匹配的电机故障诊断方法及系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108921893A (zh) * | 2018-04-24 | 2018-11-30 | 华南理工大学 | 一种基于在线深度学习slam的图像云计算方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200037816A (ko) * | 2017-08-02 | 2020-04-09 | 스트롱 포스 아이오티 포트폴리오 2016, 엘엘씨 | 대규모 데이터 세트들을 갖는 산업 사물 인터넷 데이터 수집 환경에서의 검출을 위한 방법들 및 시스템들 |
-
2020
- 2020-06-28 CN CN202010597702.8A patent/CN111753752B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108921893A (zh) * | 2018-04-24 | 2018-11-30 | 华南理工大学 | 一种基于在线深度学习slam的图像云计算方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| Huaiyang Huang等."Reliable Monocular Ego-Motion Estimation System in Rainy Urban Environments".《2019 IEEE Intelligent Transportation Systems Conference (ITSC)》.2019, * |
| 朱建亮.《基于卷积神经网络提取特征的视觉位置识别技术研究》.《中国优秀博硕士学位论文全文数据库(硕士)——信息科技辑》.2019, * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111753752A (zh) | 2020-10-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111753752B (zh) | 基于卷积神经网络多层特征融合的机器人闭环检测方法 | |
| CN104866810B (zh) | 一种深度卷积神经网络的人脸识别方法 | |
| Bu et al. | Learning high-level feature by deep belief networks for 3-D model retrieval and recognition | |
| CN112329680B (zh) | 基于类激活图的半监督遥感影像目标检测和分割方法 | |
| CN112509008B (zh) | 一种基于交并比引导孪生网络的目标跟踪方法 | |
| Danisman et al. | Intelligent pixels of interest selection with application to facial expression recognition using multilayer perceptron | |
| CN114049381A (zh) | 一种融合多层语义信息的孪生交叉目标跟踪方法 | |
| CN111753789A (zh) | 基于堆栈式组合自编码器的机器人视觉slam闭环检测方法 | |
| Raparthi et al. | Machine Learning Based Deep Cloud Model to Enhance Robustness and Noise Interference | |
| US20230222781A1 (en) | Method and apparatus with object recognition | |
| Prabhu et al. | Facial Expression Recognition Using Enhanced Convolution Neural Network with Attention Mechanism. | |
| Sugimura et al. | Enhanced cascading classifier using multi-scale HOG for pedestrian detection from aerial images | |
| CN112269892A (zh) | 一种基于多模态多层次统一交互的短语定位识别方法 | |
| CN115830633B (zh) | 基于多任务学习残差神经网络的行人重识别方法和系统 | |
| CN115731415A (zh) | 基于双模态融合的小样本细粒度目标识别模型及方法 | |
| Qiao et al. | Urban scene recognition via deep network integration | |
| Hao et al. | Research on image semantic segmentation based on FCN-VGG and pyramid pooling module | |
| An et al. | Pedestrian reidentification algorithm based on deconvolution network feature extraction-multilayer attention mechanism convolutional neural network | |
| Li | Edge aware learning for 3d point cloud | |
| Dalara et al. | Entity Recognition in Indian Sculpture using CLAHE and machine learning | |
| Zhang et al. | A mixed depthwise separation residual network for image feature extraction | |
| CN110826726B (zh) | 目标处理方法、目标处理装置、目标处理设备及介质 | |
| CN114241234A (zh) | 细粒度图像分类方法、装置、设备及介质 | |
| Lu et al. | Video analysis using spatiotemporal descriptor and kernel extreme learning machine for lip reading | |
| Li et al. | Multi-level Fisher vector aggregated completed local fractional order derivative feature vector for face recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231120 Address after: 518000 1104, Building A, Zhiyun Industrial Park, No. 13, Huaxing Road, Henglang Community, Longhua District, Shenzhen, Guangdong Province Patentee after: Shenzhen Hongyue Information Technology Co.,Ltd. Address before: 400065 Chongwen Road, Nanshan Street, Nanan District, Chongqing Patentee before: CHONGQING University OF POSTS AND TELECOMMUNICATIONS |