CN110968711A - 一种基于序列图像特征的自主无人系统位置识别定位方法 - Google Patents

一种基于序列图像特征的自主无人系统位置识别定位方法 Download PDF

Info

Publication number
CN110968711A
CN110968711A CN201911021433.4A CN201911021433A CN110968711A CN 110968711 A CN110968711 A CN 110968711A CN 201911021433 A CN201911021433 A CN 201911021433A CN 110968711 A CN110968711 A CN 110968711A
Authority
CN
China
Prior art keywords
image
sequence
images
difference
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911021433.4A
Other languages
English (en)
Other versions
CN110968711B (zh
Inventor
余洪山
王静文
蔺薛菲
付强
王佳龙
郭林峰
喻逊
孙炜
刘小燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Research Institute Of Hunan University
Hunan University
Original Assignee
Shenzhen Research Institute Of Hunan University
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Research Institute Of Hunan University, Hunan University filed Critical Shenzhen Research Institute Of Hunan University
Priority to CN201911021433.4A priority Critical patent/CN110968711B/zh
Publication of CN110968711A publication Critical patent/CN110968711A/zh
Application granted granted Critical
Publication of CN110968711B publication Critical patent/CN110968711B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Abstract

本发明公开了一种基于序列图像特征的自主无人系统位置识别定位方法，首先通过改进的卷积神经网络模型提取待图像特征，得到的深度特征具有较强的光照不变性和视角不变性，增强了算法对于场景条件变化和机器人视角变化的鲁棒性；然后采用基于图像序列的差异性度量方法，有效的为相邻帧的位置识别提供约束，提高识别的准确率；其次使用近似最近邻搜索方法，极大的减小了序列搜索的计算量，提高了在大规模环境中的使用效率；最后通过动态更新候选匹配的方法，有效减少了序列搜索中造成的遗漏情况，提高了算法的容错率。本发明的视觉位置识别算法具有鲁棒性强、效率高、适应场景多样等突出优点。

Description

一种基于序列图像特征的自主无人系统位置识别定位方法
技术领域
本发明属于移动机器人领域，涉及一种基于序列图像特征的自主无人系统位置识别定位方法。
背景技术
在动态变化的环境中实现机器人长时间的自主导航与定位是移动机器人技术的主要研究难点和热点之一，如何在长时间和大规模的运动环境中进行高效率的位置识别就成了急需解决的问题。基于视觉的位置识别技术通过机器人获取的当前图像，与地图中的基准图像进行检索匹配，从而确定机器人在地图中的当前位置。机器人在大规模场景中进行长时间的运动时，所处的是一个动态变化的环境，受光照、季节、天气、遮挡物、移动物体、拍摄视角等因素的影响，机器人所处的场景外观在不断发生变化，甚至是极端变化。位置识别算法通常包括三个内容：图像描述、图像检索、相似性度量。传统的解决方案是通过手工设计的图像特征来生成图像的特征描述符，再进行图像的检索与相似性度量，但是这种特征描述符在面临环境的极端变化时的可靠性较差。因此就要求位置识别算法对于环境的条件变化和机器人的视角变化具有很强的鲁棒性。近些年来随着深度学习和卷积神经网络(CNN)的火热发展，也为更好的解决位置识别问题提供了新的方法和思路。将图像放入预先训练好的网络模型中，可以从指定层获取图像的特征描述符，这种基于学习得到的图像特征具有较强的光照不变性和视角不变性，能更好的应对发生极端条件变化的情况。但是基于CNN的图像特征描述符也因维度较高，在进行相似性度量的时候容易造成较大的计算量，通常要对其进行一定的降维和优化再进行后续的操作。另外，大规模场景下运动得到的地图也会比较庞大，在其中进行检索任务时也会消耗大量时间。
因此，如何增强图像描述符对于光照和视角等变化的鲁棒性，以及提高检索和计算的效率是本领域急需解决的技术问题。
发明内容
本发明所要解决的技术问题是提供一种基于序列图像特征的自主无人系统位置识别定位方法，该基于图像非局部特征与序列搜索的视觉位置识别方法集成度高，功能丰富。
发明的技术解决方案如下：
本发明所要解决的技术问题是提供一种基于序列图像特征的自主无人系统位置识别定位方法。首先利用改进的卷积神经网络模型提取待图像特征，再使用近似最近邻搜索方法提高序列搜索效率，最后通过差异性度量找到最佳的图像匹配。从而实现了对条件变化和视角变化都具有较强鲁棒性的位置识别算法，且在大规模环境中依然能保持较高效率。
一种基于序列图像特征的自主无人系统位置识别定位方法，包括以下步骤：
步骤1：机器人按照相同距离间隔用视觉传感器采集得到一组连续图像，作为组成地图的基准图像集合M，再在地图场景内以任意运动状态采集待查询图像集合Q，T时刻的待查询图像就记为
Figure BDA0002246866010000021
步骤2：构建并训练一个面向场景的非局部卷积神经网络模型(NL-PlacesCNN)作为特征提取器，提取图像I的图像特征Xl(I)，再对其进行标准化处理，得到图像I的特征描述符
Figure BDA0002246866010000022
步骤3：利用步骤2训练获得的NL-PlacesCNN网络模型提取地图M中所有图像的特征描述符，并对特征描述符进行分层聚类和K-means聚类，将其构建成一个名为Tree(M)的分层K-means树；
步骤4：输入T时刻的待查询图像
Figure BDA0002246866010000023
利用步骤2得到图像
Figure BDA0002246866010000024
的特征描述符
Figure BDA0002246866010000025
步骤5：通过近似最近邻搜索方法在Tree(M)中查找得到
Figure BDA0002246866010000026
的N个最近邻图像Im，以及它们在地图中对应的序号Num(Im)；
步骤6：分别计算T时刻图像
Figure BDA0002246866010000027
与N个最近邻图像Im之间的差异度，同时选取差异度最小的前K个图像，作为
Figure BDA0002246866010000028
最佳匹配的候选图像，并将候选图像集合记为C，然后用这N个距离值组成当前帧图像对应的差异向量
Figure BDA0002246866010000029
[·]T表示转置矩阵；
步骤7：遍历Q中的所有待查询图像，利用步骤4-6得到各个时刻下的差异向量
Figure BDA0002246866010000031
并将差异向量作为矩阵的列，按照时间顺序不断更新到差异矩阵D中；
步骤8：在差异矩阵D中选定一个搜索空间W，
Figure BDA0002246866010000032
搜索序列的长度为ds，计算W中所有序列的差异度得分S，得分最小的序列则被认为是T时刻对应序列帧的最佳匹配序列，利用步骤5就可以知道序列中图像对应的序号Num，同时就可以获得T时刻待查询图像在地图M中对应的位置；
步骤9：遍历所有的时刻，利用步骤7-8找出所有时刻的图像在地图M中对应图像的位置。
所述步骤2中构建的面向场景的非局部卷积神经网络模型(NL-PlacesCNN)具体的结构如表1所示，共有五个卷积层和三个全连接层组成，前两个卷积层中除了卷积操作还增加了池化层和非局部操作层(NL层)，其中最大池化操作用来降低特征维度减小计算量，非局部操作用来捕捉图像中较远距离像素点之间的依赖关系，丰富图像特征的非局部信息。Places365数据集是一个由一百多万张场景图像组成的大型数据集，所有图像被分为365类场景，使用Places365数据集对NL-PlacesCNN网络做图像场景分类任务的训练，训练好的模型的卷积层就可以直接作为特征提取器来使用。所述Xl(I)＝(x1，x2，...，xd)
Figure BDA0002246866010000035
表示图像I经由网络模型的第l层输出的d维特征向量，标准化处理表达式如下所示：
Figure BDA0002246866010000033
表1 NL-AlexNet网络模型结构
Figure BDA0002246866010000034
Figure BDA0002246866010000041
所述步骤8中在搜索空间W中，通过序列搜索获得T时刻待查询图像在地图M中对应的位置的具体过程如下：
步骤8.1：在空间W中画出所有可能的序列搜索的轨迹线，设定搜索轨迹的速度为V，且以步长Vstep取值在Vmin和Vmax之间，以T时刻待查询图像
Figure BDA0002246866010000042
的候选图像Ia为序列的起始图像，在空间W内找到对应的起点a，按照不同的速度V向着时刻T-ds画出多条序列搜索的轨迹线；
步骤8.2：计算每条搜索轨迹线对应的序列差异度得分S，定义序列差异度得分为轨迹线从T-ds时刻到T时刻穿越差异矩阵经过的差异值的和，表达式如下：
Figure BDA0002246866010000043
k＝a+V(t-T)
其中
Figure BDA0002246866010000044
就是轨迹线在空间W内经过k位置的精确差异值，即t时刻的待查询图像与轨迹经过的对应地图中序号为k的图像Ik特征描述符之间的距离值
Figure BDA0002246866010000045
Figure BDA0002246866010000046
a就是轨迹的起始位置；
步骤8.3：联立步骤8.2中的计算公式，可以得到使S最小的速度V′，以及对应最小差异度得分，记为
Figure BDA0002246866010000047
具体表达式如下：
Figure BDA0002246866010000051
Figure BDA0002246866010000052
其中arg min函数用来计算使后面这个式子达到最小值时的取值，即V＝V′时，S为最小值
Figure BDA0002246866010000053
如果
Figure BDA0002246866010000054
我们认为这个候选图像是好的候选，将a+V′位置对应的图像加入到下一个时刻的候选图像集合C中，从而避免通过近似最近邻检索方法得到的K个最近邻图像遗漏了真正的匹配图像；
步骤8.4：遍历T时刻的所有候选图像Ia，利用步骤8.1-8.3得到n个不同候选图像对应的最小差异度得分，在所有得分中找到最小得分，表达式如下：
Figure BDA0002246866010000055
Figure BDA0002246866010000056
其中，序号为Num的图像就认为是T时刻待查询图像
Figure BDA0002246866010000057
的最佳匹配图像，其在地图M中的对应位置就是机器人T时刻所在位置。
有益效果：
本发明的基于序列图像特征的自主无人系统位置识别定位方法，首先通过改进的卷积神经网络模型提取待图像特征，得到的深度特征具有较强的光照不变性和视角不变性，增强了算法对于场景条件变化和机器人视角变化的鲁棒性；然后采用基于图像序列的差异性度量方法，有效的为相邻帧的位置识别提供约束，提高识别的准确率；其次使用近似最近邻搜索方法，极大的减小了序列搜索的计算量，提高了在大规模环境中的使用效率；最后通过动态更新候选匹配的方法，有效减少了序列搜索中造成的遗漏情况，提高了算法的容错率。本发明的视觉位置识别定位算法具有鲁棒性强、效率高、适应场景多样等突出优点。
本发明可实现机器人在大规模场景中进行长时间运动情况下的视觉位置识别，具有鲁棒性强、效率高、适用场景多等优点，有效解决了移动机器人在自定位、地图创建、运动估计等技术中对于大规模长期运动中存在的累积误差和运动漂移等问题。
与现有位置识别算法相比，本发明的先进性表现在：
1)采用深度学习与序列搜索结合的方式，提出了一种高性能的位置识别方法，并在多个场景数据集中得到了验证，进一步体现了本发明提出的算法的实践性；
2)本发明提出了一种改进的神经网络模型来提取图像特征，在图像局部特征中增加了远距离特征之间的依赖关系，丰富了特征的非局部信息，使得图像描述更加全面，也加强了图像特征对场景的条件变化和拍摄的视角变化的鲁棒性；
3)本发明提出了改进的序列搜索方法，首先利用地图图像创建一个分层K-means树，建立图像索引，然后采用近似最近邻搜索方法在树中进行搜索，有效避免了线性搜索造成的计算消耗，最后在搜索空间中进行序列相似性度量，这种搜索策略在大型地图中的搜索效率远高于传统的序列搜索方法；
4)本发明在进行当前时刻序列相似性度量后，加入了对下一个时刻候选位置的动态更新部分，避免序列搜索中造成的遗漏情况，提高了算法的容错率。
附图说明
图1为本发明整体流程图；
图2为改进的神经网络模型的网络结构图；
图3为改进的神经网络模型的非局部模块即NL-Block的具体实现结构图；
图4为序列搜索的差异矩阵D(以N＝16，K＝3，ds＝4为例，每个小矩形块代表对应查询图像与地图图像之间的差异度，颜色越深表示差异度越小，颜色越明亮表示差异度越大)；
图5为以一个候选图像为例在空间W中进行序列搜索的示意图；
图6为更新下一个时刻候选位置的示意图。
图7为本发明与经典的基于图像序列的位置识别算法SeqSLAM之间的试验对比效果图(基于UACampus数据集)；
图8为本发明与经典的基于图像序列的位置识别算法SeqSLAM之间的试验对比效果图(基于Gardens Point数据集)；
图9为本发明与经典的基于图像序列的位置识别算法SeqSLAM之间的试验对比效果图(基于Nordland数据集)。
具体实施方式
以下将结合附图和具体实施例对本发明做进一步详细说明：
实施例1：下面将结合附图和实施例对本发明做进一步的说明。
所述视觉位置识别是基于二维图像的方法，本发明采用的图像均由普通单目相机获取的RGB图像，且每个数据集都包含了至少两组图像，采集自相同的路线、不同的时间与视角。基于图像序列进行位置识别任务的机理是因为机器人的运动在时间和空间上都是连续的，可以认为其在相近时间内采集的图像具有较高的相似度，即当前帧的相邻图像，可以在当前帧的最佳匹配图像的相邻范围内找到匹配的图像。
如图1所示，为本发明的流程图，一种基于序列图像特征的自主无人系统位置识别定位方法，包括以下步骤：
步骤1：机器人按照相同距离间隔用视觉传感器采集得到一组连续图像，作为组成地图的基准图像集合M，再在地图场景内以任意运动状态采集待查询图像集合Q，T时刻的待查询图像就记为
Figure BDA0002246866010000075
步骤2：构建并训练一个面向场景的非局部卷积神经网络模型(NL-PlacesCNN)作为特征提取器，提取图像I的图像特征Xl(I)，再对其进行标准化处理，得到图像I的特征描述符
Figure BDA0002246866010000076
(I)；
面向场景的非局部卷积神经网络模型(NL-PlacesCNN)具体的结构层如表1所示，其网络结构如图2所示。共有五个卷积层和三个全连接层组成，前两个卷积层中除了卷积操作还增加了池化层和非局部操作层(NL层)，其中最大池化操作用来降低特征维度减小计算量，非局部操作用来捕捉图像中较远距离像素点之间的依赖关系，丰富图像特征的非局部信息。非局部模块(NL-Block)的数学表达式如下：
Figure BDA0002246866010000071
zi＝Wzyi+xi
Wθ、
Figure BDA0002246866010000072
Wg是NL-Block的主要参数，在实际操作中分别通过1×1的卷积核作为权重矩阵进行训练学习。在本发明中NL-Block的具体实现结构如图3，其中
Figure BDA0002246866010000073
表示矩阵乘法，
Figure BDA0002246866010000074
表示加法(对位相加)，C表示通道数，实现过程中通过减少一半的通道数来降低计算量。非局部模块可以接受任何尺寸的输入，并且得到的输出与输入尺寸保持一致，可以起到一个降噪和丰富大范围相关性信息的作用。
Places365数据集是一个由一百多万张场景图像组成的大型数据集，所有图像被分为365类场景，使用Places365数据集对NL-PlacesCNN网络做图像场景分类任务的训练，训练好的模型的卷积层就可以直接作为特征提取器来使用。所述
Figure BDA0002246866010000081
表示图像I经由网络模型的第l层输出的d维特征向量，标准化处理表达式如下所示：
Figure BDA0002246866010000082
表1 NL-AlexNet网络模型结构
Figure BDA0002246866010000083
步骤3：利用步骤2训练获得的NL-PlacesCNN网络模型提取地图M中所有图像的特征描述符，并对特征描述进行分层聚类和K-means聚类，将其构建成一个名为Tree(M)的分层K-means树；
所述分层K-means树是通过分层聚类与K-means聚类结合的方式得到的。因为经过卷积神经网络模型提取得到的特征维度比较大，先通过自顶向下的分裂的分层聚类方法对所有图像特征进行数据分层；然后对每一层的数据再进行K-means聚类，得到每层的聚类中心，作为树的节点；当某个节点的分支内点的数量小于聚类中心数量时，这些数据就作为树的叶子节点，这样就得到了一个层次化的K-means树。
步骤4：输入T时刻的待查询图像
Figure BDA0002246866010000091
利用步骤2得到图像
Figure BDA0002246866010000092
的特征描述符
Figure BDA0002246866010000093
步骤5：通过公知的近似最近邻搜索方法在Tree(M)中查找得到
Figure BDA0002246866010000094
的N个最近邻图像Im，以及它们在地图中对应的序号Num(Im)；
步骤6：分别计算当前帧图像
Figure BDA0002246866010000095
与N个最近邻图像Im之间的差异度，同时选取差异度最小的前K个图像，作为
Figure BDA0002246866010000096
最佳匹配的候选图像，并将候选图像集合记为C，并用这N个距离值组成当前帧图像对应的差异向量
Figure BDA0002246866010000097
[·]T表示转置矩阵；
步骤7：遍历Q中的所有待查询图像，利用步骤4-6得到各个时刻下的差异向量
Figure BDA0002246866010000098
并将差异向量作为矩阵的列，按照时间顺序不断更新到差异矩阵D中；
步骤8：在差异矩阵D中选定一个搜索空间W，
Figure BDA0002246866010000099
搜索序列的长度为ds，计算W中所有序列的差异度得分S，得分最小的序列则被认为是T时刻对应序列帧的最佳匹配序列，利用步骤5就可以知道序列中图像对应的序号Num，同时就可以获得T时刻待查询图像在地图M中对应的位置；
本发明沿用了SeqSLAM(文献1：Milford M J，Wyeth G F.SeqSLAM：Visual Route-Based Navigation for Sunny Summer Days and Stormy Winter Nights[J].IEEEInternational Conference on Robotics And Automation，2012：1643-1649.)中提出的一个序列搜索轨迹的假设，即重复穿越路径的速度也近似重复。如图4-6所示，以N＝16，K＝3，ds＝4为例进行一个候选图像的序列搜索，图4为差异矩阵D，每个小矩形块代表对应查询图像与地图图像之间的差异度，颜色越深表示差异度越小，颜色越明亮表示差异度越大，虚线轨迹即为差异度得分最小的序列，对应的候选图像即为待查询图像的最佳匹配图像。在搜索空间W中进行序列搜索的具体过程如下：
1)在空间W中画出所有可能的序列搜索的轨迹线，设定搜索轨迹的速度为V，且以步长Vstep取值在Vmin和Vmax之间，以T时刻待查询图像
Figure BDA0002246866010000101
的候选图像Ia为序列的起始图像，在空间W内找到对应的起点a，按照不同的速度V向着时刻T-ds画出多条序列搜索的轨迹线，如图5所示以一个候选图像为例在空间W中画出了序列搜索的轨迹线；
2)计算每条搜索轨迹线对应的序列差异度得分S，定义序列差异度得分为轨迹线从T-ds时刻到T时刻穿越差异矩阵经过的差异值的和，表达式如下：
Figure BDA0002246866010000102
k＝a+V(t-T)
其中
Figure BDA0002246866010000103
就是轨迹线在空间W内经过k位置的精确差异值，即t时刻的待查询图像与轨迹经过的对应地图中序号为k的图像Ik特征描述符之间的距离值
Figure BDA0002246866010000104
Figure BDA0002246866010000105
a就是轨迹的起始位置；
3)联立步骤8.2中的计算公式，可以得到使S最小的速度V′，以及对应的最小差异度得分，记为
Figure BDA0002246866010000106
具体表达式如下：
Figure BDA0002246866010000107
Figure BDA0002246866010000108
其中arg min函数用来计算使后面这个式子达到最小值时的取值，即V＝V′时，S为最小值
Figure BDA0002246866010000109
如果
Figure BDA00022468660100001010
我们认为这个候选图像是好的候选，将a+V′位置对应的图像加入到下一个时刻的候选图像集合C中，从而避免通过近似最近邻检索方法得到的K个最近邻图像遗漏了真正的匹配图像，如图6所示，粗线矩形框就表示为下一个时刻更新的候选位置。
4)遍历T时刻的所有候选图像Ia，利用步骤8.1-8.3得到n个不同候选图像对应的最小差异度得分，在所有得分中找到最小得分，表达式如下：
Figure BDA0002246866010000111
Figure BDA0002246866010000112
其中，序号为Num的图像就认为是T时刻待查询图像
Figure BDA0002246866010000113
的最佳匹配图像，其在地图M中的对应位置就是机器人T时刻所在位置。
步骤9：遍历所有的时刻，利用步骤7-8就可以找到所有待查询图像在地图M中对应图像的位置。
本发明与经典的基于图像序列的位置识别算法SeqSLAM(文献1)之间的试验对比效果如图7、图8和图9所示。这里采用精确率-召回率曲线(precision-recall curve，PRcurve)对试验结果进行评估，其计算公式如下：
Figure BDA0002246866010000114
Figure BDA0002246866010000115
其中P、R分别为准确率和召回率，TP(True Positive)表示实际是匹配，算法预测也为匹配；FP(False Positive)表示实际是非匹配，但是算法预测是匹配；FN(FalseNegative)表示实际是匹配，但是预测为非匹配。准确率描述的就是算法找到的所有匹配中实际中也是匹配的概率；召回率则是说实际中所有匹配被算法正确检测出来的概率。在位置识别任务中，期望在高召回率下依然可以保持尽可能高的准确率。
图7为基于UACampus数据集的对比试验效果图，该数据集采集自加拿大阿尔伯塔大学校园，机器人沿着一个约650米的路线行驶，分别在白天和晚上采集了两组图像，可以测试算法对于光照变化的鲁棒性，如PR曲线所示本发明提出的方法在有明显光照变化的环境中依然可以保持较高的准确率，验证了本方法对于光照变化具有较强的鲁棒性。
图8为基于Gardens Point数据集的对比试验效果图，该数据集采集自澳大利昆士兰大学校园里面一条路径，室内和室外的场景均有经过，包括两个白天和一个晚上共三个子数据集。其中两个白天的子数据集分别在左边和右边两个视角进行拍摄，晚上的数据集在右边拍摄，该数据集同时拥有视角变化和光照变化两个特性，PR曲线展示了本发明提出的方法在视角和光照同时发生变化的情况下，依然可以保持较高的准确率，验证了本方法对于光照和视角变化都具有较强的鲁棒性
图9为基于Nordland数据集的对比试验效果图，该数据集由挪威的一列火车沿同一路线、相同角度进行拍摄，分别记录了春夏秋冬四个季节的场景变化，路线长达728公里。每组数据由35000张图像组成，PR曲线展示了使用春、冬两组数据的试验结果，本发明提出的方法在大规模场景以及历经季节变化的长时间运动情况下，也保持很好的效果。另外，如表2所示，两种算法在不同规模的地图下，处理每张图片的时间对比，尤其是在图像数量超过一万张的大规模地图下，本发明提出的方法在效率上有明显的提升。
表2不同规模地图下的处理效率
Figure BDA0002246866010000121

Claims (3)

1.一种基于序列图像特征的自主无人系统位置识别定位方法，包括以下步骤：
步骤1：机器人按照相同距离间隔用视觉传感器采集得到一组连续图像，作为组成地图的基准图像集合M，再在地图场景内以任意运动状态采集待查询图像集合Q，T时刻的待查询图像就记为
Figure FDA0002246866000000011
步骤2：构建并训练一个面向场景的非局部卷积神经网络模型(NL-PlacesCNN)作为特征提取器，提取图像I的图像特征Xl(I)，再对其进行标准化处理，得到图像I的特征描述符
Figure FDA0002246866000000012
步骤3：利用步骤2训练获得的NL-PlacesCNN网络模型提取基准图像集合M中所有图像的特征描述符，并对特征描述符进行分层聚类和K-means聚类，将其构建成一个名为Tree(M)的分层K-means树；
步骤4：输入T时刻的待查询图像
Figure FDA0002246866000000013
利用卷积神经网络模型得到图像
Figure FDA0002246866000000014
的特征描述符
Figure FDA0002246866000000015
步骤5：通过近似最近邻搜索方法在Tree(M)中查找得到
Figure FDA0002246866000000016
的N个最近邻图像Im，以及它们在地图中对应的序号Num(Im)；
步骤6：分别计算T时刻图像
Figure FDA0002246866000000017
与N个最近邻图像Im之间的差异度，同时选取差异度最小的前K个图像，作为
Figure FDA0002246866000000018
最佳匹配的候选图像，并将候选图像集合记为C，然后用这N个距离值组成当前帧图像对应的差异向量
Figure FDA0002246866000000019
[·]T表示转置矩阵；
步骤7：遍历Q中的所有待查询图像，获得到各个时刻下的差异向量
Figure FDA00022468660000000110
并将差异向量作为矩阵的列，按照时间顺序不断更新到差异矩阵D中；
步骤8：在差异矩阵D中选定一个搜索空间W，
Figure FDA00022468660000000111
搜索序列的长度为ds，计算W中所有序列的差异度得分S，得分最小的序列则被认为是T时刻对应序列帧的最佳匹配序列，基于最佳匹配序列中图像对应的序号Num，最终获得T时刻待查询图像在地图M中对应的位置；
步骤9：遍历所有的时刻，确定所有时刻的图像在地图M中对应图像的位置。
2.根据权利要求1所述的基于序列图像特征的自主无人系统位置识别定位方法，所述步骤2中构建的面向场景的非局部卷积神经网络模型(NL-PlacesCNN)具体的结构如表1所示；
表1 NL-AlexNet网络模型结构
Figure FDA0002246866000000021
共有五个卷积层和三个全连接层，前两个卷积层中除了卷积操作还增加了池化层和非局部操作层(NL层)，其中最大池化操作用来降低特征维度减小计算量，非局部操作用来捕捉图像中较远距离像素点之间的依赖关系，丰富图像特征的非局部信息；Places365数据集是一个由一百多万张场景图像组成的大型数据集，所有图像被分为365类场景，使用Places365数据集对NL-PlacesCNN网络做图像场景分类任务的训练，训练好的模型的卷积层就能直接作为特征提取器来使用；所述
Figure FDA0002246866000000022
表示图像I经由网络模型的第l层输出的d维特征向量，标准化处理表达式如下所示：
Figure FDA0002246866000000031
3.根据权利要求1所述的基于序列图像特征的自主无人系统位置识别定位方法，所述步骤8中在搜索空间W中，通过序列搜索获得T时刻待查询图像在地图M中对应的位置的具体过程如下：
步骤8.1：在空间W中画出所有可能的序列搜索的轨迹线，设定搜索轨迹的速度为V，步长Vstep取值在Vmin和Vmax之间，以T时刻待查询图像
Figure FDA0002246866000000035
的候选图像Ia为序列的起始图像，在空间W内找到对应的起点a，按照不同的速度V向着时刻T-ds画出多条序列搜索的轨迹线；
步骤8.2：计算每条搜索轨迹线对应的序列差异度得分S，定义序列差异度得分为轨迹线从T-ds时刻到T时刻穿越差异矩阵经过的差异值的和，表达式如下：
Figure FDA0002246866000000032
k＝a+V(t-T)
其中
Figure FDA0002246866000000036
就是轨迹线在空间W内经过k位置的精确差异值，即t时刻的待查询图像与轨迹经过的对应地图中序号为k的图像Ik特征描述符之间的距离值
Figure FDA00022468660000000310
a为轨迹的起始位置；
步骤8.3：联立步骤8.2中的计算公式，得到使S最小的速度V′，以及对应的最小差异度得分，记为
Figure FDA0002246866000000037
具体表达式如下：
Figure FDA0002246866000000033
Figure FDA0002246866000000034
其中arg min函数用来计算使后面这个式子达到最小值时的取值，即V＝V′时，S为最小值
Figure FDA0002246866000000038
如果
Figure FDA0002246866000000039
则认为这个候选图像是符合要求的候选，将a+V′位置对应的图像加入到下一个时刻的候选图像集合C中，从而避免通过近似最近邻检索方法得到的K个最近邻图像遗漏了真正的匹配图像；
步骤8.4：遍历T时刻的所有候选图像Ia，利用步骤8.1-8.3得到n个不同候选图像对应的最小差异度得分，在所有得分中找到最小得分，表达式如下：
Figure FDA0002246866000000041
Figure FDA0002246866000000042
其中，序号为Num的图像就认为是T时刻待查询图像
Figure FDA0002246866000000043
的最佳匹配图像，其在地图M中的对应位置就是机器人T时刻所在位置。
CN201911021433.4A 2019-10-24 2019-10-24 一种基于序列图像特征的自主无人系统位置识别定位方法 Active CN110968711B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911021433.4A CN110968711B (zh) 2019-10-24 2019-10-24 一种基于序列图像特征的自主无人系统位置识别定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911021433.4A CN110968711B (zh) 2019-10-24 2019-10-24 一种基于序列图像特征的自主无人系统位置识别定位方法

Publications (2)

Publication Number Publication Date
CN110968711A true CN110968711A (zh) 2020-04-07
CN110968711B CN110968711B (zh) 2021-04-02

Family

ID=70029868

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911021433.4A Active CN110968711B (zh) 2019-10-24 2019-10-24 一种基于序列图像特征的自主无人系统位置识别定位方法

Country Status (1)

Country Link
CN (1) CN110968711B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111823237A (zh) * 2020-07-29 2020-10-27 湖南大学 基于rgb led动态信标的多机器人定位方法及系统
CN112862802A (zh) * 2021-02-26 2021-05-28 中国人民解放军93114部队 基于边缘外观序列匹配的地点识别方法
CN113111209A (zh) * 2021-04-15 2021-07-13 广州图匠数据科技有限公司 一种针对货架场景大图的重复图片搜索方法及装置
CN113627468A (zh) * 2021-07-01 2021-11-09 浙江安防职业技术学院 基于无监督学习的非局部神经网络图像处理方法及系统
CN117474959A (zh) * 2023-12-19 2024-01-30 北京智汇云舟科技有限公司 基于视频数据的目标对象运动轨迹处理方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010237873A (ja) * 2009-03-30 2010-10-21 Sogo Keibi Hosho Co Ltd 姿勢変化検出装置、姿勢変化検出方法、及び姿勢変化検出プログラム
CN103310189A (zh) * 2012-03-16 2013-09-18 汤姆逊许可公司 图像或图像序列中的对象识别
CN103383700A (zh) * 2013-06-26 2013-11-06 西安电子科技大学 基于边缘方向差直方图的图像检索方法
US9104916B2 (en) * 2000-11-06 2015-08-11 Nant Holdings Ip, Llc Object information derived from object images
CN105279772A (zh) * 2015-10-23 2016-01-27 中国运载火箭技术研究院 一种红外序列图像的可跟踪性判别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9104916B2 (en) * 2000-11-06 2015-08-11 Nant Holdings Ip, Llc Object information derived from object images
JP2010237873A (ja) * 2009-03-30 2010-10-21 Sogo Keibi Hosho Co Ltd 姿勢変化検出装置、姿勢変化検出方法、及び姿勢変化検出プログラム
CN103310189A (zh) * 2012-03-16 2013-09-18 汤姆逊许可公司 图像或图像序列中的对象识别
CN103383700A (zh) * 2013-06-26 2013-11-06 西安电子科技大学 基于边缘方向差直方图的图像检索方法
CN105279772A (zh) * 2015-10-23 2016-01-27 中国运载火箭技术研究院 一种红外序列图像的可跟踪性判别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄凯奇等: "智能视频监控技术综述", 《计算机学报》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111823237A (zh) * 2020-07-29 2020-10-27 湖南大学 基于rgb led动态信标的多机器人定位方法及系统
CN112862802A (zh) * 2021-02-26 2021-05-28 中国人民解放军93114部队 基于边缘外观序列匹配的地点识别方法
CN113111209A (zh) * 2021-04-15 2021-07-13 广州图匠数据科技有限公司 一种针对货架场景大图的重复图片搜索方法及装置
CN113111209B (zh) * 2021-04-15 2023-10-20 广州图匠数据科技有限公司 一种针对货架场景大图的重复图片搜索方法及装置
CN113627468A (zh) * 2021-07-01 2021-11-09 浙江安防职业技术学院 基于无监督学习的非局部神经网络图像处理方法及系统
CN117474959A (zh) * 2023-12-19 2024-01-30 北京智汇云舟科技有限公司 基于视频数据的目标对象运动轨迹处理方法及系统
CN117474959B (zh) * 2023-12-19 2024-03-08 北京智汇云舟科技有限公司 基于视频数据的目标对象运动轨迹处理方法及系统

Also Published As

Publication number Publication date
CN110968711B (zh) 2021-04-02

Similar Documents

Publication Publication Date Title
CN110968711B (zh) 一种基于序列图像特征的自主无人系统位置识别定位方法
Tsintotas et al. The revisiting problem in simultaneous localization and mapping: A survey on visual loop closure detection
Chen et al. Only look once, mining distinctive landmarks from convnet for visual place recognition
Garg et al. Don't look back: Robustifying place categorization for viewpoint-and condition-invariant place recognition
Lynen et al. Placeless place-recognition
Kawewong et al. Online and incremental appearance-based SLAM in highly dynamic environments
CN110135249B (zh) 基于时间注意力机制和lstm的人体行为识别方法
CN111126360A (zh) 基于无监督联合多损失模型的跨域行人重识别方法
Facil et al. Condition-invariant multi-view place recognition
CN110717411A (zh) 一种基于深层特征融合的行人重识别方法
CN110781790A (zh) 基于卷积神经网络与vlad的视觉slam闭环检测方法
CN104794219A (zh) 一种基于地理位置信息的场景检索方法
CN104517289A (zh) 一种基于混合摄像机的室内场景定位方法
CN113034545A (zh) 一种基于CenterNet多目标跟踪算法的车辆跟踪方法
Schubert et al. What makes visual place recognition easy or hard?
Djenouri et al. Deep learning based decomposition for visual navigation in industrial platforms
Tsintotas et al. The revisiting problem in simultaneous localization and mapping
Yuan et al. A multi-image Joint Re-ranking framework with updateable Image Pool for person re-identification
CN116092127A (zh) 基于并联式特征融合网络人体动作识别的行人重识别方法
Chen et al. A survey on visual place recognition for mobile robots localization
Li et al. Deep fusion of multi-layers salient CNN features and similarity network for robust visual place recognition
CN116051601A (zh) 一种深度时空关联的视频目标跟踪方法及系统
Tsintotas et al. Online Appearance-Based Place Recognition and Mapping: Their Role in Autonomous Navigation
CN111353509B (zh) 一种视觉slam系统的关键点提取器生成方法
Ye et al. Visual place recognition via local affine preserving matching

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant