CN114707611B - 基于图神经网络特征提取与匹配的移动机器人地图构建方法、存储介质及设备 - Google Patents

基于图神经网络特征提取与匹配的移动机器人地图构建方法、存储介质及设备 Download PDF

Info

Publication number
CN114707611B
CN114707611B CN202210423431.3A CN202210423431A CN114707611B CN 114707611 B CN114707611 B CN 114707611B CN 202210423431 A CN202210423431 A CN 202210423431A CN 114707611 B CN114707611 B CN 114707611B
Authority
CN
China
Prior art keywords
feature
image
matching
point
graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210423431.3A
Other languages
English (en)
Other versions
CN114707611A (zh
Inventor
陈孟元
刘金辉
陈晓飞
徐韬
韩朋朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Polytechnic University
Original Assignee
Anhui Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Polytechnic University filed Critical Anhui Polytechnic University
Priority to CN202210423431.3A priority Critical patent/CN114707611B/zh
Publication of CN114707611A publication Critical patent/CN114707611A/zh
Application granted granted Critical
Publication of CN114707611B publication Critical patent/CN114707611B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于图神经网络特征提取与匹配的移动机器人地图构建方法、存储介质及设备，其中方法包括下列步骤：步骤S1，通过先验位置估计特征提取图神经网络，对图像特征点进行快速均匀检测与描述，构建相应特征点信息；步骤S2，通过图注意力机制特征匹配中的消息传递图神经网络聚合特征点信息；步骤S3，使用自我与联合注意力机制对前后帧图像进行分权重特征匹配；步骤S4，优化筛选已建立的特征匹配点对集合，并将优化后的高吻合度匹配点对与系统后端的非线性优化、闭环修正算法相融合，进行相机位姿估计与局部地图构建。本发明有助于提升特征提取算法在面对外界光照变化剧烈与纹理稀疏场景下的稳定性与准确性，并加快特征匹配的速度。

Description

基于图神经网络特征提取与匹配的移动机器人地图构建方 法、存储介质及设备
技术领域
本发明涉及同步定位与地图创建(Simultaneous Location And Mapping，SLAM)技术领域，具体基于图神经网络特征提取与匹配的移动机器人地图构建方法、存储介质及设备。
背景技术
近年来在工业与家用领域，移动机器人的应用数量都在急剧增长，其在未知环境下的同步定位与地图构建也已成为了移动机器人领域研究热点。当前视觉SLAM主要有两种趋势，一是在前端增加新的传感器，如IMU或GPS等，通过获取外界移动信息来添加新的相机位姿约束，但此类方法需要移动机器人处理多源信息融合时具有较强的紧耦合能力，同时保证计算量的平衡。二是与现在较为突出的深度学习相结合，使用神经网络模型为视觉SLAM问题解决提供了新的智能化选择。近几年图神经网络的兴起大大加速了这一进程，基于现实处理图数据的迫切需求图神经网络应运而生，面对传统卷积神经网络难以处理的图数据，图神经网络创新性的运用节点域定义节点相关性挖掘节点之间丰富的关系信息，造就了图神经网络在图像领域强大的表征能力。2005年，Marco Gori等人首次提出图神经网络概念，省去了传统方法将图数据转换为向量的中间步骤，将学习过程直接架构在图数据之上。2013年，Bruna等人首次将卷积引入图神经网络中，研究人员开始将可学习的卷积操作用于图数据之上。近来有各种基于图卷积的神经网络模型被开发出来，2019年，Tang等人开始将其运用于传统SLAM前端特征提取中，在轨迹精度上取得了较为准确的结果。但现有技术仍无法解决在移动机器人大视角运动下由于光照变换剧烈或遭遇纹理稀疏场景造成的特征跟踪丢失问题以及弯道轨迹漂移等问题，导致无法构建高精确度完整地图。
发明内容
本发明的目的是提供基于图神经网络特征提取与匹配的移动机器人地图构建方法，用于解决现有技术中由于移动机器人大视角运动下造成的轨迹漂移问题，并能解决移动机器人面对复杂的外界光照与纹理稀疏场景无法构建高精确度完整地图的技术问题。
所述的基于图神经网络特征提取与匹配的移动机器人地图构建方法，包括下列步骤：
步骤S1，通过先验位置估计特征提取图神经网络，对图像特征点进行快速均匀检测与描述，构建相应特征点信息；
输入图像经编码层处理生成对应输入图像信息的8×8特征映射集合，之后使用划分像素区域估计位置坐标的方法，结合关键点位置坐标与特征点描述符，使用多层感知机将特征点位置坐标嵌入到高维向量，并通过先验位置估计特征提取网络估计每个输出的8×8特征映射集合的相对图像坐标，并将其映射到全局图像像素坐标，融合特征点的初始相对位置坐标、视觉描述符与置信度得到特征点信息；
步骤S2，通过图注意力机制特征匹配中的消息传递图神经网络聚合特征点信息；
步骤S3，使用自我与联合注意力机制对前后帧图像进行分权重特征匹配；
步骤S4，优化筛选已建立的特征匹配点对集合，并将优化后的高吻合度匹配点对与系统后端的非线性优化、闭环修正算法相融合，进行相机位姿估计与局部地图构建。
优选的，所述步骤S1中，由先验位置估计特征提取网络模型提取图GA前m个特征点A＝{1，…，M}，提取图GB前n个特征点B＝{1，…，N}，两张图像两组关键点位置l和描述符d编码为局部特征(l，d)；该先验位置估计特征提取网络模型包括两个通道数分别为256和2的卷积层，在sigmoid函数激活层之后，使用回归方式估计8×8特征映射集合内坐标在[0，1]范围内的偏移量，预测特征点在该特征映射集合的相对像素位置。
优选的，所述步骤S1中，由相对图像坐标映射到全局图像像素坐标的转换公式与区域内特征点融合公式如下所示：
Figure GDA0003804087280000021
式中，(0)Pi为区域内融合特征点初始相对位置坐标、视觉描述符与置信度的特征点信息，di为特征点描述符，MLP为多层感知机，(x，y)i为全局图像像素坐标，初始为((0)Lx(A，B)，(0)Ly(A，B))，ci为区域内融合特征点置信度，A为位置估计区域横坐标，B为位置估计区域纵坐标，(0)Lx(A，B)为图像像素横坐标，(0)Ly(A，B)为图像像素纵坐标，(n)LA为第n层位置估计区域横坐标，(n)LB第n层位置估计区域纵坐标，Sds是降采样因子为8的降采样函数。
优选的，所述步骤S2中，图可以定义为由节点和连接节点的边构成，本方法定义了两种类型无向边，在单张图像上的自我注意力无向边，特征点在单张图像内连接着同一图像内其它特征点，在前后图像帧之间的联合注意力无向边，特征点连接着其它图像特征点；本方法提出一种消息传递公式沿着两种无向边传递特征节点信息，利用多重消息传递网络从低层特征节点向高层特征节点传递信息，通过聚集所有特征节点的所有无向边信息，在每一层计算更新特征节点状态；此过程消息传递公式把融合先验位置信息的特征点信息传递到中心节点，在多层卷积层网络中融合全局图像像素坐标进行优化。
优选的，所述步骤S2中，经过大量匹配特征点对训练先验位置估计特征提取网络模型，通过无监督损失函数对输入图像进行多角度、多尺度单应性训练提取相同场景的3D点，实现对特征点的优化，图像A中特征节点信息更新公式包括所述消息传递公式具体如下所示：
Figure GDA0003804087280000031
式中，[·||·]表示并列，(κ)Pi A为图像A上κ层的特征节点，(κ+1)Pi A为κ+1层图像聚合特征点，(κ)Ni为图像A上κ层的邻域特征节点，mε→i表示为所有特征节点{j：(i，j)∈ε}的聚合结果，其中ε具有自我注意力与联合注意力两种类型，Lc为无监督特征点的置信度损失项，Lxy为相对特征点位置均匀分布正则项，Ldesc为学习描述符表示项，Ldecorr为特征点描述符正则项，每类损失项由不同因子λ加权。最后两个损失项Ldesc与Ldecorr只对描述符进行优化，Ldecorr通过去除相关描述符来减少过拟合，消息传递公式里的di+MLP[(x，y)i，ci]在卷积层第一层即由步骤S1所得的融合后的特征点信息(0)Pi。
优选的，所述步骤S3中，使用基于消息传递的图神经网络，充分聚合特征点邻域内空间位置信息与视觉灰度特征，利用自我注意力机制增大在高响应区域特征权重，然后集中迭代单帧图像上显著或相邻特征点，通过联合注意力机制在两张图像上搜索相似或共有特征点，消除无法匹配的低质量特征点；分权重匹配时特征节点的融合计算所需的图像特征集合与图像特征矩阵键值对对象通过图神经网络中的线性投影计算。
优选的，所述步骤S3中，分权重匹配时特征节点的融合计算公式如下所示。
Figure GDA0003804087280000041
式中，Wij为注意力权重，(κ)mε→i为融合后的特征消息，(κ)M为κ层消息传递函数，
Figure GDA0003804087280000042
为特征点(κ)Pi A的特征点状态，
Figure GDA0003804087280000043
为特征点
Figure GDA0003804087280000044
的特征点状态，eij为相连两个特征点的特征向量，i和j为经softmax归一化的图像特征行和列，qi表示查询得到的图像特征集合，gj为图像特征矩阵键值对对象。图像特征集合是指特征点位置集合，图像特征矩阵键值对对象是指图像中已匹配的特征点对；
线性投影计算公式如下所示：
Figure GDA0003804087280000045
式中，
Figure GDA0003804087280000046
属于A集合，qi表示查询得到的图像特征集合，gj为图像特征矩阵键值对对象，
Figure GDA0003804087280000047
为邻域融合特征点描述符，
Figure GDA0003804087280000048
为集合B中κ层特征点，w1、w2与w3为注意力权重，χ1、χ2与x3为系数。
优选的，所述步骤S4中，通过优化匹配网络生成局部特征吻合度分配矩阵优化特征匹配，本方法使用匹配描述符的吻合度来表征匹配对相似程度，吻合度公式如下所示：
Figure GDA0003804087280000049
式中，
Figure GDA00038040872800000410
属于集合A×B，ψi，j为匹配对吻合度，<·，·>为其二者内积，(κ)Pi A为图像A上κ层的特征节点，
Figure GDA0003804087280000051
为图像B上κ层的特征节点，wi为图像A对应特征点权重，wj为集合B对应特征点权重，χi为集合A中特征点对应系数，χj为图像B中特征点对应系数；
本方法通过设立一个低吻合度集合，收纳匹配错误可能性极大、吻合度低于β的匹配对，通过添加一个新的矫正行和列，来进行显式特征匹配，矫正公式如下所示：
Figure GDA0003804087280000052
式中，
Figure GDA0003804087280000053
为集合A中特征点矫正后权重，
Figure GDA0003804087280000054
为集合A中κ层邻近特征点，
Figure GDA0003804087280000055
集合A中矫正后系数，
Figure GDA0003804087280000056
为集合B中特征点矫正后权重，
Figure GDA0003804087280000057
为集合B中κ层邻近特征点，
Figure GDA0003804087280000058
集合B中矫正后系数，M和N为低吻合度集合行和列。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的基于图神经网络特征提取与匹配的移动机器人地图构建方法的步骤。
本发明还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的基于图神经网络特征提取与匹配的移动机器人地图构建方法的步骤。
本发明具有以下优点：本方法在先验位置估计特征提取网络中设计一种关键点位置估计网络层，针对机器人在大视角弯道运动中遭遇的外界光照变化剧烈，纹理稀疏场景下的特征提取困难与区域集中问题，利用基于全卷积网络的无监督特征提取网络框架，克服了传统VGG结构较多繁复网络层，需要大量的训练样本数据，计算量大且耗时的缺点。关键点位置估计网络层使用划分像素区域估计位置坐标的方法，既可区分不同区域，实现完全无监督的训练，又能在图像内快速均匀准确估计每个8×8特征映射集合内的特征点，避免特征点在某个区域内聚集过多，实现类似非极大值抑制(Non-Maximum Suppression，NMS)的功能，有助于提升特征提取算法在面对外界光照变化剧烈与纹理稀疏场景下的稳定性与准确性，并在之后的特征匹配环节中进行区域内搜索匹配，进而减少全局搜索匹配计算量，加快特征匹配的速度。
2、在图像前后帧之间在图像特征匹配过程中，一个图像上特征点可能同时匹配多个特征点，也可能图像因为遮挡或对应区域未提取特征点而无法进行正确特征匹配。因此本方法特征匹配算法对于每个特征点编码生成唯一标识符，同时在特征匹配之后对匹配对集合优化筛选，以确保特征匹配的高准确性。图可以定义为由节点和连接节点的边构成，本方法定义了两种类型无向边，在单张图像上的自我注意力无向边，特征点在单张图像内连接着同一图像内其它特征点，在前后图像帧之间的联合注意力无向边，特征点连接着其它图像特征点。本方法使用基于消息传递的图神经网络，充分聚合特征点邻域内空间位置信息与视觉灰度特征，利用自我注意力机制增大在高响应区域特征权重，然后集中迭代单帧图像上显著或相邻特征点，通过联合注意力机制在两张图像上搜索相似或共有特征点，消除无法匹配的低质量特征点，可有效避免因具有很多相似性特征点而造成的误匹配。
3、本方法特征匹配模型中第二个部分为优化匹配网络，生成局部特征吻合度分配矩阵，优化特征匹配。移动机器人在面对大视角运动下造成的光照变化剧烈或处于极端角度甚至遮挡情形，此时描述符本身很容易出现较大误差，如果使用错误描述符进行匹配的特征点必定会出现错误匹配。本方法图注意力机制特征匹配网络模型与最优匹配层都具有可微性，这使得匹配结果可以反向传播到视觉描述符，基于消息传递图神经网络的深度映射与基于图注意力机制的同形映射使得大视角运动下相机运动几何位姿估计更加精准，如果在特征点邻域内无可供匹配描述符，本方法就将此类型关键点
Figure GDA0003804087280000061
标记为无法匹配特征点，AB分别表示前后帧图像。
附图说明
图1为本发明基于图神经网络特征提取与匹配的移动机器人地图构建方法的流程示意图。
图2为本发明基于图神经网络特征提取与匹配的移动机器人地图构建方法的流程图。
图3为本发明所设计先验位置估计特征提取网络结构图
图4为本发明所设计位置估计模块结构图。
图5为本发明所提出图注意力机制特征匹配网络结构图。
图6为本发明在Hpatches数据集i_castle序列下光照渐变特征提取对比实验图
图7为本发明在Hpatches数据集i_whitebuilding序列下光照渐变下纹理稀疏场景特征提取对比图。
图8为本发明在TUM、Hpatches数据集下视角渐变下特征匹配对比实验图。
图9为本发明在Hpatches数据集下光照渐变场景下特征匹配性能mAP对比结果图。
图10为本发明在TUM数据集下运行轨迹对比图。
图11为本发明在KITTI数据集下运行轨迹对比图。
图12本发明在KITTI 00-10序列绝对轨迹与相对位姿误差对比图。
图13为应用本发明的真实场景平面布局图。
图14为真实场景下不同算法轨迹对比图。
具体实施方式
下面对照附图，通过对实施例的描述，对本发明具体实施方式作进一步详细的说明，以帮助本领域的技术人员对本发明的发明构思、技术方案有更完整、准确和伸入的理解。
本方法针对移动机器人在大视角运动下造成的光照变化剧烈或遭遇纹理稀疏场景特征提取困难、极端角度下特征难以匹配等问题，提出一种面向大视角运动的图神经网络视觉SLAM算法。本方法将特征提取与匹配图神经网络与ORB-SLAM2系统的后端相融合，构建了一个完整的单目视觉SLAM系统；提出先验位置估计特征提取网络模型检测特征点，增强了光照变化剧烈与纹理稀疏场景下的特征提取能力，真实还原了环境信息；提出特征匹配网络模型匹配特征点，在面对相邻帧之间视角差过大时，能够进行图像特征的精确匹配，保证视觉SLAM系统跟踪正常，结果表明本方法在大视角运动中具有较强的建图能力。
实施例一：
如图1-5所示，本发明提供了一种基于图神经网络特征提取与匹配的移动机器人地图构建方法，包括下列步骤。
步骤S1，通过先验位置估计特征提取图神经网络，对图像特征点进行快速均匀检测与描述，构建相应特征点信息。
本方法中编码层由卷积层、池化空间降采样层与非线性激活函数层组成，输入图像经过三对全卷积编码层生成中间映射集合。这三对卷积层由stride与kernel两个大小为2的最大池化层隔开，在每个池化层后，每对卷积层扩大一倍通道数。在6个卷积层中，通道数为32-32-64-64-128-128，另外每个池化层降采样图像特征图高度和宽度是原来的2倍而最终形成的中间映射集合为原来的4倍，最终生成对应输入图像信息的8×8特征映射集合。
本方法设计一种关键点位置估计网络层，使用划分像素区域估计位置坐标的方法，既可区分不同区域，实现完全无监督的训练，又能在图像内均匀准确估计每个8×8特征映射集合内的特征点，避免特征点在某个区域内聚集过多，实现类似非极大值抑制(Non-Maximum Suppression，NMS)的功能，有助于提升特征提取算法在面对外界光照变化剧烈与纹理稀疏场景下的稳定性与准确性。
该步骤的具体步骤为：由先验位置估计特征提取网络模型提取图GA前m个特征点A＝{1，…，M}，提取图GB前n个特征点B＝{1，…，N}，两张图像两组关键点位置l和描述符d编码为局部特征(l，d)。在关键点编码器特征编码过程中，本方法结合关键点位置坐标与特征点描述符，使用多层感知机(Multilayer Perceptron)将特征点位置坐标嵌入到高维向量，并通过先验位置估计特征提取网络估计每个输出的8×8特征映射集合的相对图像坐标，并将其映射到全局图像像素坐标，该模块包括两个通道数分别为256和2的卷积层，在sigmoid函数激活层之后，使用回归方式估计8×8特征映射集合内坐标在[0，1]范围内的偏移量，预测特征点在该特征映射集合的相对像素位置。对于像素尺寸为8×8的输入图像，由相对图像坐标映射到全局图像像素坐标的转换公式与区域内特征点融合公式如下所示。
Figure GDA0003804087280000081
式中，(0)Pi为区域内融合特征点初始相对位置坐标、视觉描述符与置信度的特征点信息，di为特征点描述符，MLP为多层感知机，(x，y)i为全局图像像素坐标，初始为((0)Lx(A，B)，(0)Ly(A，B))，ci为区域内融合特征点置信度，A为位置估计区域横坐标，B为位置估计区域纵坐标，(0)Lx(A，B)为图像像素横坐标，(0)Ly(A，B)为图像像素纵坐标，(n)LA为第n层位置估计区域横坐标，(n)LB第n层位置估计区域纵坐标，Sds是降采样因子为8的降采样函数。
步骤S2，通过图注意力机制特征匹配中的消息传递图神经网络聚合特征点信息。
本方法的图注意力机制特征匹配网络模型可以让特征信息跨越图像相互传递，然后利用消息传递图神经网络在较大像素范围内聚合图像特征，增强本方法在面对移动机器人大视角运动中前后帧变换较大时的鲁棒性。图像前后帧的图像信息经每个模块分别转换为置信度张量Ct、特征点位置张量Lt与描述符张量Dt，然后在图像前后帧两个不同特征集合之间建立特征点映射，再利用距离矩阵G来计算AB两个不同模块(即前后帧图像)之间的特征点变换关系，A模块中
Figure GDA0003804087280000091
与B模块中
Figure GDA0003804087280000092
二者的特征点欧氏距离矩阵G定义如下所示。
Figure GDA0003804087280000093
式中，MA×MB为距离矩阵的大小，
Figure GDA0003804087280000094
为
Figure GDA0003804087280000095
经单应性变换后特征点坐标，
Figure GDA0003804087280000096
为AB两个模块的特征点坐标，T为随机单应性变换矩阵，||·||2表示求两个点之间的欧式距离。
在图像前后帧之间的图像特征匹配过程中，一个图像上特征点可能同时匹配多个特征点，也可能图像因为遮挡或对应区域未提取特征点而无法进行正确特征匹配。因此本方法对于每个特征点编码生成唯一标识符，同时在特征匹配之后对匹配对集合优化筛选，以确保特征匹配的高准确性。图可以定义为由节点和连接节点的边构成，本方法定义了两种类型无向边，在单张图像上的自我注意力无向边，特征点在单张图像内连接着同一图像内其它特征点，在前后图像帧之间的联合注意力无向边，特征点连接着其它图像特征点。本方法提出一种消息传递公式沿着两种无向边传递特征节点信息，利用多重消息传递网络从低层特征节点向高层特征节点传递信息，通过聚集所有特征节点的所有无向边信息，在每一层计算更新特征节点状态。此过程消息传递公式把融合先验位置信息的特征点信息传递到中心节点，在多层卷积层网络中融合全局图像像素坐标进行优化，减少了运算量，加快特征提取，特征提取更加精准有效，增强环境外界变化鲁棒性。
本方法设计一种新的无监督损失函数，再经过大量匹配特征点对训练先验位置估计特征提取网络模型。通过该函数对输入图像进行多角度、多尺度单应性训练提取相同场景的3D点，实现对特征点的优化，降低对外界光照与纹理变化敏感度，提高特征点提取网络模型的鲁棒性。图像A中特征节点信息更新公式包括所述消息传递公式和无监督损失函数，具体如下所示。
Figure GDA0003804087280000101
式中，[·||·]表示并列，(κ)Pi A为图像A上κ层的特征节点，(κ+1)Pi A为κ+1层图像聚合特征点，(κ)Ni为图像A上κ层的邻域特征节点，mε→i表示为所有特征节点{j：(i，j)∈ε}的聚合结果，其中ε具有自我注意力与联合注意力两种类型，Lc为无监督特征点的置信度损失项，Lxy为相对特征点位置均匀分布正则项，Ldesc为学习描述符表示项，Ldecorr为特征点描述符正则项，每类损失项由不同因子λ加权。最后两个损失项Ldesc与Ldecorr只对描述符进行优化，Ldecorr通过去除相关描述符来减少过拟合。而消息传递公式里的di+MLP[(x，y)i，ci]在卷积层第一层即由步骤S1所得的融合后的特征点信息(0)Pi。
步骤S3，使用自我与联合注意力机制对前后帧图像进行分权重特征匹配。
本方法使用基于消息传递的图神经网络，充分聚合特征点邻域内空间位置信息与视觉灰度特征，利用自我注意力机制增大在高响应区域特征权重，然后集中迭代单帧图像上显著或相邻特征点，通过联合注意力机制在两张图像上搜索相似或共有特征点，消除无法匹配的低质量特征点，可有效避免因具有很多相似性特征征点而造成的误匹配。分权重匹配时特征征节点的融合计算公式如下所示。
Figure GDA0003804087280000102
式中，Wij为注意力权重，(κ)mε→i为融合后的特征消息，(κ)M为κ层消息传递函数，
Figure GDA0003804087280000103
为特征点(κ)Pi A的特征点状态，
Figure GDA0003804087280000104
为特征点
Figure GDA0003804087280000105
的特征点状态，eij为相连两个特征点的特征向量，i和j为经softmax归一化的图像特征行和列，qi表示查询得到的图像特征集合，gj为图像特征矩阵键值对对象。图像特征集合是指特征点位置集合，图像特征矩阵键值对对象是指图像中已匹配的特征点对。
本方法中图像特征集合与图像特征矩阵键值对对象通过图神经网络中的线性投影计算，因所有特征点信息都在图像特征集合A中，所有的源特征点都在图像特征集合B中，线性投影计算公式如下所示。
Figure GDA0003804087280000111
式中，
Figure GDA0003804087280000112
属于A集合，qi表示查询得到的图像特征集合，gj为图像特征矩阵键值对对象，
Figure GDA0003804087280000113
为邻域融合特征点描述符，
Figure GDA0003804087280000114
为集合B中κ层特征点，w1、w2与w3为注意力权重，χ1、χ2与x3为系数。
本方法中每个网络层都有自己的投影参数，利用联合图注意力机制共享前后帧之间的图像特征。本方法图注意力机制特征匹配网络模型具有较大灵活性，可根据移动机器人所处环境动态调整学习不同属性图像特征，特征匹配网络算法基于融合特征点位置与视觉描述符的编码器，通过消息传递图神经网络可以获取特征点邻域信息，有效避免了大视角运动造成的光照变化或纹理稀疏环境下特征跟踪时特征点数量区域集中与数量骤变。利用自我与联合图注意机制迭代特征点优化特征匹配，保证了在大视角运动中前后帧视角变换过大，图像帧重合面积较少时能够进行特征匹配与跟踪，进而为本方法系统后端非线性优化与全局轨迹地图构建奠定了数据基础。
步骤S4，优化筛选已建立的特征匹配点对集合，并将优化后的高吻合度匹配点对与ORB-SLAM2系统后端的非线性优化、闭环修正算法相融合，进行相机位姿估计与局部地图构建。
特征匹配模型中第二个部分为优化匹配网络，生成局部特征吻合度分配矩阵，优化特征匹配。视觉SLAM中无论是计算资源分配还是求解位姿精度，都难以为两张图像A、B中的M×N个特征点全部建立匹配，因此本方法在两张图像A、B中的M×N个特征点匹配成功的大量特征点对集合中进行优化筛选，让正确的高吻合度匹配点对进入SLAM算法，对后端非线性优化流程而言这是减小求解位姿误差大小的关键。为此本方法使用匹配描述符的吻合度来表征匹配对相似程度，吻合度公式如下所示。
Figure GDA0003804087280000121
式中，
Figure GDA0003804087280000122
属于集合A×B，ψi，j为匹配对吻合度，<·，·>为其二者内积，
Figure GDA0003804087280000123
为图像A上κ层的特征节点，
Figure GDA0003804087280000124
为图像B上κ层的特征节点，wi为图像A对应特征点权重，wj为集合B对应特征点权重，χi为集合A中特征点对应系数，χj为图像B中特征点对应系数。
移动机器人在面对大视角运动下造成的光照变化剧烈或处于极端角度甚至遮挡情形，此时描述符本身很容易出现较大误差，如果使用错误描述符进行匹配的特征点必定会出现错误匹配。为此，本方法使用图匹配中很常见的显式分配，通过设立一个低吻合度集合，收纳匹配错误可能性极大、吻合度低于β的匹配对，通过添加一个新的矫正行和列，来进行显式特征匹配，矫正公式如下所示。
Figure GDA0003804087280000125
式中，
Figure GDA0003804087280000126
为集合A中特征点矫正后权重，
Figure GDA0003804087280000127
为集合A中κ层邻近特征点，
Figure GDA0003804087280000128
集合A中矫正后系数，
Figure GDA0003804087280000129
为集合B中特征点矫正后权重，
Figure GDA00038040872800001210
为集合B中κ层邻近特征点，
Figure GDA00038040872800001211
集合B中矫正后系数，M和N为低吻合度集合行和列。
图6为本方法在Hpatches数据集i_castle序列下光照渐变特征提取对比实验图，选取数据集中光照渐变场景验证本方法效果。由图可知，SIFT算法在前两张光照明亮图像特征点提取数量较多，在后四张光照阴暗图像特征点数量与提取位置变化较大，这是由于SIFT算法把不同尺度内易受光照影响灰度值梯度的区域极值作为特征点，同时使用非极大值抑制与Hessian矩阵去除低对比度特征点，在光照变化剧烈的环境中容易造成特征的误匹配和跟踪丢失，造成相机位姿估计误差。SURF算法在面对光照渐变场景时特征提取数量变化较大，是因为SURF算法先使用Hessian矩阵滤除了大量潜在特征点，后利用非极大值抑制均匀化特征点数量导致了在光照阴暗图像中特征提取数量较少。ORB算法在光照渐变场景中的特征点提取呈现区域聚集分布，特征点分布不均匀，导致在RANSAC估计时局部收敛进而相机位姿估计误差变大。本方法特征提取在光照渐变场景特征提取过程中使用消息传递图神经网络融合了空间位置信息与视觉灰度特征，在光照渐变场景中保持了特征点位置与数量的稳定性。
图7为本方法在Hpatches数据集i_whitebuilding序列下光照渐变下纹理稀疏场景特征提取对比图，选取数据集中光照渐变情况下纹理稀疏场景验证本方法效果。由图可知，本方法选用HPatches的i_whitebuilding在光照渐变下纹理稀疏场景特征点提取对比实验，其特征提取对比如图所示。SIFT、SURF与ORB算法在面对灰度均匀的纹理稀疏场景时，难以在整张图像内提取灰度值梯度均匀变化的局部极值点，同时由于人工设计特征算子的关键点邻域像素灰度值受光照、视角与纹理影响较大，所以在移动机器人大视角运动中造成的光照变化或遭遇纹理稀疏环境都面临着特征点提取困难、区域聚集分布等问题，在光照渐变图像中，特征点数量与位置也相差很大。本方法在消息传递图神经网络聚合特征点周围邻域信息，增强在提取特征时的信息表达，使得本方法在面对纹理稀疏场景下具有高度鲁棒性，提高了RANSAC估计时的相机位姿精度。
图8为本方法在TUM、Hpatches数据集下视角渐变下特征匹配对比实验图，选取TUM-RGBD与HPatches数据集进行不同算法室内室外与纹理稀疏下的多视角特征匹配对比实例，其中匹配线条颜色按照灰度颜色排列，不同颜色的匹配线条表示不同的吻合度。视角渐变下特征匹配对比实例如图所示，本方法在室内、室外与纹理稀疏环境中同FLANN算法进行对比，使用具有纹理稀疏、自相似度高、场景复杂的三维几何结构与大视角变化的TUMRGBD室内数据集与HPatches室外数据集具有同一物体视角不同、光照渐变的序列图像，有效验证本方法匹配性能。实验结果表明，在面对室内、室外与纹理稀疏场景时，SIFT+FLANN算法特征点提取重复度与描述符平均匹配准确率较低，本方法在大视角下表现出了优势的特征提取与匹配能力。
图9为本方法在Hpatches数据集下光照渐变场景下特征匹配性能mAP对比结果图。由图可知，本方法图注意力机制特征匹配算法在HPatches的5个光照渐变与纹理稀疏场景序列表现出最佳性能，实验结果表明，本方法特征匹配描述符平均匹配准确率相较于ORB+FLANN算法提升较大，相较于SURF+FLANN算法显著提升。综上表明，本方法在光照渐变与纹理稀疏场景下具有较强的特征匹配能力，使得移动机器人在大视角运动中面对外界复杂环境变化具有较高鲁棒性。
图10为本方法在TUM数据集下运行轨迹对比图，如图所示为三种算法与本方法的轨迹对比结果。本方法在两个序列都获得了最优的结果，ORB-SLAM2在大视角运动与纹理稀疏场景中都出现了跟踪丢失，导致了闭环错误以至于全局轨迹与真实轨迹偏差较大。DX-SLAM在fr2/desk、fr2/Long_office household两个序列出现跟踪丢失，无法生成轨迹且与真实轨迹尺度偏差较大。GCNv2-SLAM在两个序列中偶有跟踪丢失，在跟踪过程中无法应对大视角运动与纹理稀疏场景，导致绝对轨迹误差较大。本方法在前端利用先验位置估计特征提取网络模型与图注意力机制特征匹配算法，可以充分应对移动机器人运动过程中大视角变化与纹理稀疏场景，极大减少了特征跟踪丢失，保证了相机位姿与对极几何恢复精度，进而在全局建图中获得了极低的绝对轨迹误差。
图11为本方法在KITTI数据集下运行轨迹对比图。如图所示三种算法在KITTI数据集上轨迹对比结果。ORB-SLAM2在09序列的最大轨迹误差分别为111.679，从整体来看，ORB-SLAM2在大视角弯道运动中轨迹出现较大偏差，在09序列大视角弯道运动中ORB-SLAM2未能检测到闭环。DX-SLAM在09序列的最大轨迹误差分别为139.522，DX-SLAM轨迹较ORB-SLAM2更加均匀，但在09序列的大视角弯道运动轨迹跟踪丢失，导致闭环失败。本方法在09序列的最大轨迹误差分别为14.073，实验结果表明，本方法在09序列中绝对轨迹误差更小，能充分应对大视角弯道运动与纹理稀疏场景。
图12为本方法在KITTI00-10序列绝对轨迹与相对位姿误差对比图。本方法的绝对轨迹误差在KITTI 11个序列数据集上取得了最佳结果，相对位姿误差在8个序列数据集上取得了最佳结果。整体来看，ORB-SLAM2的绝对轨迹误差和相对位姿误差与DX-SLAM相差不大。本方法相较DX-SLAM绝对轨迹平均误差与相对位姿平均误差显著降低，相较于ORB-SLAM2绝对轨迹平均误差与相对位姿平均误差降低较大，实验结果表明本方法在室外大视角运动性能优异。
图13为本方法真实场景平面布局图。为验证本方法有效性，设置光照变化剧烈与纹理稀疏真实场景进行移动机器人大视角运动SLAM实验，将Intel RealSense D435i传感器固定在TurtleBot3离地面大约0.3m的位置，在实验中通过上位机控制机器人绕行障碍物a、b，形成8字回环，场景规模为5.95m×4.8m，真实场景平面布局图如图所示。C点为移动机器人起始点，使用本方法对移动机器人的全局轨迹建图。
图14为本方法真实场景下不同算法轨迹对比图。从实验结果可见，ORB-SLAM2算法由于光照变化剧烈与场景纹理稀疏等因素导致在回到c点的过程中产生假闭环，对算法运行轨迹造成错误修正，难以在大视角运动进行准确地图构建。DX-SLAM在面向大视角运动造成的光照变化剧烈或遭遇纹理稀疏场景时，导致对极几何计算明显失真，闭环修正后全局地图尺度偏小。然而本方法由于结合了先验位置估计特征提取和图注意力机制特征匹配网络，在面向大视角运动造成的光照变化剧烈或遭遇纹理稀疏场景时，依然能够恢复精确的运动结构，实现高准确定位与高精度建图。
实施例二：
与本发明实施例一对应，本发明实施例二提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时依照实施例一的方法实现以下步骤。
步骤S1，通过先验位置估计特征提取图神经网络，对图像特征点进行快速均匀检测与描述，构建真实准确特征点信息。
步骤S2，通过图注意力机制特征匹配中的消息传递图神经网络聚合特征点信息。
步骤S3，使用自我与联合注意力机制对前后图像帧进行分权重特征匹配。
步骤S4，优化筛选已建立的特征匹配点对集合，并将优化后的高吻合度匹配点对与ORB-SLAM2系统后端非线性优化、闭环修正相融合，进行相机位姿估计与局部地图构建。
上述存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、光盘等各种可以存储程序代码的介质。
上述关于计算机可读存储介质中程序执行后实现步骤的具体限定可以参见实施例一，在此不再做详细说明。
实施例三：
与本发明实施例一对应，本发明实施例三提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时依照实施例一的方法实现以下步骤。
步骤S1，通过先验位置估计特征提取图神经网络，对图像特征点进行快速均匀检测与描述，构建真实准确特征点信息。
步骤S2，通过图注意力机制特征匹配中的消息传递图神经网络聚合特征点信息。
步骤S3，使用自我与联合注意力机制对前后图像帧进行分权重特征匹配。
步骤S4，优化筛选已建立的特征匹配点对集合，并将优化后的高吻合度匹配点对与ORB-SLAM2系统后端非线性优化、闭环修正相融合，进行相机位姿估计与局部地图构建。
上述关于计算机设备实现步骤的具体限定可以参见实施例一，在此不再做详细说明。
需要说明的是，本发明的说明书附图中的框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与获得机指令的组合来实现。
上面结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的发明构思和技术方案进行的各种非实质性的改进，或未经改进将本发明构思和技术方案直接应用于其它场合的，均在本发明保护范围之内。

Claims (9)

1.基于图神经网络特征提取与匹配的移动机器人地图构建方法，其特征在于：包括下列步骤：
步骤S1，通过先验位置估计特征提取图神经网络，对图像特征点进行快速均匀检测与描述，构建相应特征点信息；
输入图像经编码层处理生成对应输入图像信息的8×8特征映射集合，之后使用划分像素区域估计位置坐标的方法，结合关键点位置坐标与特征点描述符，使用多层感知机将特征点位置坐标嵌入到高维向量，并通过先验位置估计特征提取网络估计每个输出的8×8特征映射集合的相对图像坐标，并将其映射到全局图像像素坐标，融合特征点的初始相对位置坐标、视觉描述符与置信度得到特征点信息；
步骤S2，通过图注意力机制特征匹配中的消息传递图神经网络聚合特征点信息；
步骤S3，使用自我与联合注意力机制对前后帧图像进行分权重特征匹配；
步骤S4，优化筛选已建立的特征匹配点对集合，并将优化后的高吻合度匹配点对与系统后端的非线性优化、闭环修正算法相融合，进行相机位姿估计与局部地图构建；
所述步骤S1中，由先验位置估计特征提取网络模型提取图GA前m个特征点A＝{1，…，M}，提取图GB前n个特征点B＝{1，…，N}，两张图像两组关键点位置l和描述符d编码为局部特征(l，d)；该先验位置估计特征提取网络模型包括两个通道数分别为256和2的卷积层，在sigmoid函数激活层之后，使用回归方式估计8×8特征映射集合内坐标在[0，1]范围内的偏移量，预测特征点在该特征映射集合的相对像素位置。
2.根据权利要求1所述的基于图神经网络特征提取与匹配的移动机器人地图构建方法，其特征在于：所述步骤S1中，由相对图像坐标映射到全局图像像素坐标的转换公式与区域内特征点融合公式如下所示：
Figure FDA0003814031570000011
式中，(0)Pi为区域内融合特征点初始相对位置坐标、视觉描述符与置信度的特征点信息，di为特征点描述符，MLP为多层感知机，(x，y)i为全局图像像素坐标，初始为((0)Lx(A，B)，(0)Ly(A，B))，ci为区域内融合特征点置信度，A为位置估计区域横坐标，B为位置估计区域纵坐标，(0)Lx(A，B)为图像像素横坐标，(0)Ly(A，B)为图像像素纵坐标，(n)LA为第n层位置估计区域横坐标，(n)LB第n层位置估计区域纵坐标，Sds是降采样因子为8的降采样函数。
3.根据权利要求1所述的基于图神经网络特征提取与匹配的移动机器人地图构建方法，其特征在于：所述步骤S2中，图可以定义为由节点和连接节点的边构成，本方法定义了两种类型无向边，在单张图像上的自我注意力无向边，特征点在单张图像内连接着同一图像内其它特征点，在前后图像帧之间的联合注意力无向边，特征点连接着其它图像特征点；本方法提出一种消息传递公式沿着两种无向边传递特征节点信息，利用多重消息传递网络从低层特征节点向高层特征节点传递信息，通过聚集所有特征节点的所有无向边信息，在每一层计算更新特征节点状态；此过程消息传递公式把融合先验位置信息的特征点信息传递到中心节点，在多层卷积层网络中融合全局图像像素坐标进行优化。
4.根据权利要求3所述的基于图神经网络特征提取与匹配的移动机器人地图构建方法，其特征在于：所述步骤S2中，经过大量匹配特征点对训练先验位置估计特征提取网络模型，通过无监督损失函数对输入图像进行多角度、多尺度单应性训练提取相同场景的3D点，实现对特征点的优化，图像A中特征节点信息更新公式包括所述消息传递公式具体如下所示：
Figure FDA0003814031570000021
式中，[·||·]表示并列，(κ)Pi A为图像A上κ层的特征节点，(κ+1)Pi A为κ+1层图像聚合特征点，(κ)Ni为图像A上κ层的邻域特征节点，mε→i表示为所有特征节点{j：(i，j)∈ε}的聚合结果，其中ε具有自我注意力与联合注意力两种类型，Lc为无监督特征点的置信度损失项，Lxy为相对特征点位置均匀分布正则项，Ldesc为学习描述符表示项，Ldecorr为特征点描述符正则项，每类损失项由不同因子λ加权，最后两个损失项Ldesc与LdLdecorr只对描述符进行优化，Ldecorr通过去除相关描述符来减少过拟合，消息传递公式里的di+MLP[(x，y)i，ci]在卷积层第一层即由步骤S1所得的融合后的特征点信息(0)Pi。
5.根据权利要求1所述的基于图神经网络特征提取与匹配的移动机器人地图构建方法，其特征在于：所述步骤S3中，使用基于消息传递的图神经网络，充分聚合特征点邻域内空间位置信息与视觉灰度特征，利用自我注意力机制增大在高响应区域特征权重，然后集中迭代单帧图像上显著或相邻特征点，通过联合注意力机制在两张图像上搜索相似或共有特征点，消除无法匹配的低质量特征点；分权重匹配时特征节点的融合计算所需的图像特征集合与图像特征矩阵键值对对象通过图神经网络中的线性投影计算。
6.根据权利要求5所述的基于图神经网络特征提取与匹配的移动机器人地图构建方法，其特征在于：所述步骤S3中，分权重匹配时特征节点的融合计算公式如下所示：
Figure FDA0003814031570000031
式中，Wij为注意力权重，(κ)mε→i为融合后的特征消息，(κ)M为κ层消息传递函数，
Figure FDA0003814031570000032
为特征点(κ)Pi A的特征点状态，
Figure FDA0003814031570000033
为特征点
Figure FDA0003814031570000034
的特征点状态，eij为相连两个特征点的特征向量，i和j为经softmax归一化的图像特征行和列，qi表示查询得到的图像特征集合，gj为图像特征矩阵键值对对象，图像特征集合是指特征点位置集合，图像特征矩阵键值对对象是指图像中已匹配的特征点对；
线性投影计算公式如下所示：
Figure FDA0003814031570000035
式中，
Figure FDA0003814031570000036
属于A集合，qi表示查询得到的图像特征集合，gj为图像特征矩阵键值对对象，
Figure FDA0003814031570000037
为邻域融合特征点描述符，
Figure FDA0003814031570000038
为集合B中κ层特征点，w1、w2与w3为注意力权重，χ1、χ2与χ3为系数。
7.根据权利要求1所述的基于图神经网络特征提取与匹配的移动机器人地图构建方法，其特征在于：所述步骤S4中，通过优化匹配网络生成局部特征吻合度分配矩阵优化特征匹配，本方法使用匹配描述符的吻合度来表征匹配对相似程度，吻合度公式如下所示：
Figure FDA0003814031570000041
式中，
Figure FDA0003814031570000042
属于集合A×B，ψi，j为匹配对吻合度，<·，·>为其二者内积，(κ)Pi A为图像A上κ层的特征节点，
Figure FDA0003814031570000043
为图像B上κ层的特征节点，wi为图像A对应特征点权重，wj为集合B对应特征点权重，χi为集合A中特征点对应系数，χj为图像B中特征点对应系数；
本方法通过设立一个低吻合度集合，收纳匹配错误可能性极大、吻合度低于β的匹配对，通过添加一个新的矫正行和列，来进行显式特征匹配，矫正公式如下所示：
Figure FDA0003814031570000044
式中，
Figure FDA0003814031570000045
为集合A中特征点矫正后权重，
Figure FDA0003814031570000046
为集合A中κ层邻近特征点，
Figure FDA0003814031570000047
集合A中矫正后系数，
Figure FDA0003814031570000048
为集合B中特征点矫正后权重，
Figure FDA0003814031570000049
为集合B中κ层邻近特征点，
Figure FDA00038140315700000410
集合B中矫正后系数，M和N为低吻合度集合行和列。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-7中任一所述的基于图神经网络特征提取与匹配的移动机器人地图构建方法的步骤。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现如权利要求1-7中任一所述的基于图神经网络特征提取与匹配的移动机器人地图构建方法的步骤。
CN202210423431.3A 2022-04-21 2022-04-21 基于图神经网络特征提取与匹配的移动机器人地图构建方法、存储介质及设备 Active CN114707611B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210423431.3A CN114707611B (zh) 2022-04-21 2022-04-21 基于图神经网络特征提取与匹配的移动机器人地图构建方法、存储介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210423431.3A CN114707611B (zh) 2022-04-21 2022-04-21 基于图神经网络特征提取与匹配的移动机器人地图构建方法、存储介质及设备

Publications (2)

Publication Number Publication Date
CN114707611A CN114707611A (zh) 2022-07-05
CN114707611B true CN114707611B (zh) 2022-10-11

Family

ID=82175237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210423431.3A Active CN114707611B (zh) 2022-04-21 2022-04-21 基于图神经网络特征提取与匹配的移动机器人地图构建方法、存储介质及设备

Country Status (1)

Country Link
CN (1) CN114707611B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116468940B (zh) * 2023-04-07 2023-09-19 安徽工程大学 一种基于深度学习的感知增强与运动判断算法、存储介质及设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210150252A1 (en) * 2019-11-14 2021-05-20 Magic Leap, Inc. Systems and methods for virtual and augmented reality
WO2022010855A1 (en) * 2020-07-07 2022-01-13 Ohio State Innovation Foundation Systems, methods and devices for map-based object's localization deep learning and object's motion trajectories on geospatial maps
CN112330750A (zh) * 2020-10-30 2021-02-05 北京邮电大学 一种面向可重构球形机器人自重构对接的立体匹配方法
CN112861988B (zh) * 2021-03-04 2022-03-11 西南科技大学 一种基于注意力图神经网络的特征匹配方法
CN114266823A (zh) * 2021-12-07 2022-04-01 武汉理工大学 一种结合SuperPoint网络特征提取的单目SLAM方法
CN114140623A (zh) * 2021-12-10 2022-03-04 上海智能交通有限公司 一种图像特征点提取方法及系统

Also Published As

Publication number Publication date
CN114707611A (zh) 2022-07-05

Similar Documents

Publication Publication Date Title
CN111325797B (zh) 一种基于自监督学习的位姿估计方法
CN108242079B (zh) 一种基于多特征视觉里程计和图优化模型的vslam方法
JP7375192B2 (ja) ターゲット追跡方法、装置、電子機器、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラムプロダクト
CN108594816B (zh) 一种通过改进orb-slam算法实现定位与构图的方法和系统
CN113674416B (zh) 三维地图的构建方法、装置、电子设备及存储介质
CN111899280B (zh) 采用深度学习和混合型位姿估计的单目视觉里程计方法
CN103646391A (zh) 一种针对动态变化场景的实时摄像机跟踪方法
CN109974743A (zh) 一种基于gms特征匹配及滑动窗口位姿图优化的rgb-d视觉里程计
CN111882602B (zh) 基于orb特征点和gms匹配过滤器的视觉里程计实现方法
Budvytis et al. Large scale joint semantic re-localisation and scene understanding via globally unique instance coordinate regression
CN114707611B (zh) 基于图神经网络特征提取与匹配的移动机器人地图构建方法、存储介质及设备
Cao et al. Monocular depth estimation with augmented ordinal depth relationships
Jin et al. Beyond learning: Back to geometric essence of visual odometry via fusion-based paradigm
CN111462132A (zh) 一种基于深度学习的视频物体分割方法及系统
Gao et al. Unsupervised learning of monocular depth and ego-motion in outdoor/indoor environments
Li et al. Scale-aware monocular SLAM based on convolutional neural network
Chen et al. Deep learning for visual localization and mapping: A survey
Kim et al. Edge-based visual odometry with stereo cameras using multiple oriented quadtrees
CN117011660A (zh) 一种低纹理场景下融合深度信息的点线特征slam方法
CN112288812A (zh) 一种基于视觉特征的移动机器人实时定位方法
WO2023178951A1 (zh) 图像分析方法、模型的训练方法、装置、设备、介质及程序
Hwang et al. Frame-to-frame visual odometry estimation network with error relaxation method
CN114913472A (zh) 一种联合图学习与概率传播的红外视频行人显著性检测方法
Xuan et al. Maskvo: Self-supervised visual odometry with a learnable dynamic mask
CN115170826A (zh) 基于局部搜索的运动小目标快速光流估计方法及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant