CN112148817A - 一种基于全景图的slam优化方法、装置和系统 - Google Patents

一种基于全景图的slam优化方法、装置和系统 Download PDF

Info

Publication number
CN112148817A
CN112148817A CN201910574351.6A CN201910574351A CN112148817A CN 112148817 A CN112148817 A CN 112148817A CN 201910574351 A CN201910574351 A CN 201910574351A CN 112148817 A CN112148817 A CN 112148817A
Authority
CN
China
Prior art keywords
input image
candidate region
matching
feature
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910574351.6A
Other languages
English (en)
Other versions
CN112148817B (zh
Inventor
张观良
付万豪
刘殿超
王晓霞
王刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Software Research Center Beijing Co Ltd
Original Assignee
Ricoh Software Research Center Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Software Research Center Beijing Co Ltd filed Critical Ricoh Software Research Center Beijing Co Ltd
Priority to CN201910574351.6A priority Critical patent/CN112148817B/zh
Publication of CN112148817A publication Critical patent/CN112148817A/zh
Application granted granted Critical
Publication of CN112148817B publication Critical patent/CN112148817B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于全景图的SLAM优化方法、装置和系统。本发明的方法包括：对输入图像序列中每幅输入图像进行特征提取，并将提取到的特征与目标地区的全景图的特征进行匹配；根据所提取特征与预先从目标地区全景图中提取的特征之间的匹配关系，确定所述全景图与输入图像序列的匹配对集合，所述匹配对标识所述输入图像在所述全景图中的位置；根据所述匹配对集合计算SLAM的目标函数，将所述目标函数加入到所述SLAM的优化过程中进行点云与扫描轨迹的优化。本发明利用全景图的全局信息化点云以及扫描路径，能够避免仅利用局部信息产生的偏差，提高定位精度。

Description

一种基于全景图的SLAM优化方法、装置和系统
技术领域
本发明涉及一种基于全景图的SLAM优化方法、装置和系统。
背景技术
即时定位与地图构建(Simultaneous Localization and Mapping，SLAM)通常是指在机器人或者其他载体上，通过对各种传感器数据进行采集和计算，生成对其自身位置姿态的定位和场景地图信息的系统。在构建地图过程中，一般只能看到地图的局部区域，并只对一个局部区域进行优化，无法把握整体结构。当运行时间较长时，构建的地图会出现累积误差。在没有闭环的时候，累积误差一般无法修复。
为提高建图精度，目前一般采用高精度传感器或多传感器融合。例如：使用高精度激光雷达获取物体与装置之间的距离，利用惯性测量单元获取当前的角速度和加速度，之后通过计算得到三维点云与扫描路径。但这些技术都是尽可能减少中间产生的误差，在较长时间内，假如没有全局信息，则依然会出现偏移。全局信息一般使用全球卫星导航系统(Global Navigation Satellite System，GNSS)的数据，但卫星信号也会受外部干扰信息影响。此外，高精度传感器运行成本较高。
在SLAM算法中，一般使用闭环检测(loop closure)来修正累积误差，闭环检测是利用三维点的匹配，修正当前帧的姿态，之后将修正后的误差分散到整个闭环中。但这个需要检测到相同的场景，并能够完成三维点的匹配，这在某些情况下无法满足。
发明内容
本发明提供了一种基于全景图的SLAM优化方法、装置和系统，以利用全景图提供的全局信息优化点云以及扫描路径。
第一方面，本发明提供了一种基于全景图的SLAM优化方法，该方法包括：对输入图像序列中每幅输入图像进行特征提取，并将提取到的特征与目标地区的全景图的特征进行匹配；根据所提取特征与预先从目标地区全景图中提取的特征之间的匹配关系，确定所述全景图与输入图像序列的匹配对集合，所述匹配对标识所述输入图像在所述全景图中的位置；根据所述匹配对集合计算SLAM的目标函数，将所述目标函数加入到所述SLAM的优化过程中进行点云与扫描轨迹的优化。
第二方面，本发明提供了一种基于全景图的SLAM优化装置，该装置包括：图像分析单元，用于分别对全景图与输入图像序列中每幅输入图像进行特征提取；定位计算单元，用于根据所提取特征之间的关系，确定所述全景图与输入图像序列的匹配对集合，所述匹配对标识所述输入图像在所述全景图中的位置；优化单元，用于根据所述匹配对集合计算SLAM的目标函数，将所述目标函数加入到所述SLAM的优化过程中进行点云与扫描轨迹的优化。
第三方面，本发明提供了一种基于全景图的SLAM优化系统，包括：存储器，存储计算机可执行指令；处理器，所述计算机可执行指令在被执行时使所述处理器执行SLAM优化方法
第四方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有一个或多个计算机程序，所述一个或多个计算机程序被执行时实现SLAM优化方法。
本发明利用全景图获取目标地区的全局信息，通过确定输入图像在全景图中的位置，避免仅利用局部信息产生的偏差，本发明利用全景图的全局信息化点云以及扫描路径，能够提高定位精度。
附图说明
图1为本发明实施例示出的基于全景图的SLAM优化方法的流程图；
图2为本发明实施例示出的基于全景图的SLAM优化装置的结构框图；
图3为本发明实施例示出的SLAM优化系统的结构示意图。
具体实施方式
本发明实施例提供一种基于全景图的SLAM优化方法，不使用其他额外的传感器，通过分析全景图获取场景的全局信息，并利用全局信息去优化点云以及扫描路径。本发明实施例还提供了相应的装置和SLAM优化系统，以下分别进行详细说明。
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。这里使用的词语“一”、“一个(种)”和“该”等也应包括“多个”、“多种”的意思，除非上下文另外明确指出。此外，在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。
因此，本发明的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本发明的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。在本发明的上下文中，计算机可读存储介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，计算机可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。计算机可读存储介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。
本发明提供一种基于全景图的SLAM优化方法，通过下面实施例进行具体说明。
图1为本发明实施例示出的基于全景图的SLAM优化方法的流程图，如图1所示，本实施例的方法包括：
S110，对输入图像序列中每幅输入图像进行特征提取，并将提取到的特征与目标地区的全景图的特征进行匹配。
本实施例对输入图像的特征提取包括基于词袋模型所提取到的词袋模型特征、基于二维语义分割图提取的形状特征。
本实施例获取目标地区的全景图，并对全景图进行分析，预先提取全景图的特征以便于与输入图像进行特征匹配，从目标地区全景图中提取的特征包括：提取全景图的局部图像特征，例如词袋模型特征，识别全景图中的目标物体，对全景图进行语义分割，获得全景图的整体语义信息和语义分割图。
S120，根据所提取特征与预先从目标地区全景图中提取的特征之间的匹配关系，确定所述全景图与输入图像序列的匹配对集合，所述匹配对标识所述输入图像在所述全景图中的位置。
S130，根据所述匹配对集合计算SLAM的目标函数，将所述目标函数加入到所述SLAM的优化过程中进行点云与扫描轨迹的优化。
本实施例利用全景图获取目标地区的全局信息，通过确定输入图像在全景图中的位置，避免仅利用局部信息产生的偏差，利用全景图的全局信息化点云以及扫描路径，能够提高定位精度。
下面对上述步骤S110-S130进行详细说明。
首先，执行步骤S110，即对输入图像序列中每幅输入图像进行特征提取，并将提取到的特征与目标地区的全景图的特征进行匹配。
本实施例预先对全景图进行分析，包括利用滑动窗口提取全景图的局部图像特征；识别全景图中的目标物体，例如建筑物、车和树等，对全景图进行语义分割，获取全景图的整体语义信息和对应的语义分割图。
在利用滑动窗口提取局部图像特征时，从每个位置出的滑动窗口提取特征，可以使用Harris、Fast等特征提取方法进行特征提取，并通过预先构建的词袋模型特征词典(bag of words)为从每个滑动窗口提取的特征进行向量化表示。
其中，词袋模型特征词典可以通过下述方法构建：针对样本图像，利用SIFT、FAST等特征点提取算法获取图像的特征点，之后用ORB等描述子得到特征点的特征向量。将全部图像中的特征向量进行聚类得到K个聚类中心和对应的特征向量(也可以称为词典)。
在构建好词袋模型特征词典后，此时给定一张图像，用同样的方法(SIFT、ORB等)得到特征点和对应的特征向量。这些特征向量在之前聚类得到K个中心特征中寻找最相似的特征，并统计其次数。例如：图像特征a对应中心特征B，那么找到B的次数+1，如此类推，可以得到每个中心特征的被找到次数，形成一个长度为K的向量V，对V归一化后得到向量v，v就是这张图像的图像特征。利用词袋模型可以快速进行图像检索。而形状特征是根据分割图来提取的，形状特征可以用轮廓特征或是区域特征表示，主要是用于描述特征图中，连通区域的轮廓与区域分布。
本实施例在预处理全景图时，可以识别全景图中的目标物体，得到对应的分割图像，其中，目标物体是建图过程中，需要完全对齐的物体。在识别目标物体过程中，还可以识别出全景图的特殊物体，特殊物体可以理解成在全景图中出现次数较少，但容易辨认的物体。例如在太阳能电站中，目标物体为太阳能面板，特殊物体可以是汇流箱和建筑物等，汇流箱在太阳能电站中虽然在视觉上基本一致，但在全景图中分布的位置可以形成一个拓扑结构，利用该拓扑结构可以辅助输入图像的定位。
其中，在对输入图像进行特征提取时，利用与全景图相同的特征提取方法从输入图像中提取特征，基于词袋模型特征词典得到描述输入图像的词袋模型特征向量，基于图像分割得到描述输入图像形状特征的形状特征向量。
在特征提取之后，继续执行步骤S120，即根据所提取特征之间的关系，确定所述全景图与输入图像序列的匹配对集合，所述匹配对标识所述输入图像在所述全景图中的位置。
下面以一个具体实施例根据候选区域的能量函数确定输入图像的匹配对方法作进一步说明。
本发明实施例中，将由输入图像提取到的特征与预先由全景图提取到的特征集合进行匹配，所述特征集合中的特征对应为全景图的局部区域(局部区域为全景图中每个滑动窗口对应的区域)的词袋模型特征；将特征之间的距离小于距离阈值的局部区域确定为与所述输入图像匹配的候选区域；根据所述候选区域在所述全景图中的位置，确定所述候选区域对应的语义分割图，并根据所述语义分割图获取所述候选区域的形状特征；根据所述候选区域的词袋模型特征与形状特征和所述输入图像的词袋模型特征与形状特征，计算所述候选区域的能量函数；根据所述能量函数确定所述输入图像的匹配对。
由于全景图和普通拍摄画面可能存在分辨率和拍摄角度相差较大的情况，在相似场景中，存在无法从候选区域中得到正确位置的问题，本实施例针对该情况，利用全景图分析得到的分割图像与输入图像的分割图像，进行形状匹配。具体是根据输入图像的位姿参数，对所述语义分割图进行畸变校正；根据畸变校正后的语义分割图获取所述候选区域的形状特征，由此再根据词袋模型特征与形状特征计算候选区域的能量函数。
在一个实施例中，根据
Figure BDA0002111676210000061
计算所述候选区域的特征相似性，根据
Figure BDA0002111676210000062
计算所述候选区域的形状相似性，根据
Figure BDA0002111676210000063
计算所述候选区域的能量函数；
其中，vik表示第k幅输入图像的词袋模型特征向量，vpk表示与所述第k幅输入图像对应的局部区域的词袋模型特征向量，sik表示第k幅输入图像的形状特征向量，spk与所述第k幅输入图像对应的局部区域的形状特征向量，EDj、ESj与Ej分别表示第j个候选区域的特征相似性、形状相似性和能量函数，λ为预设比例系数，k和j均为自然数，分别表示输入图像的序号和候选区域的序号。
本实施例通过下述方法确定第k幅输入图像对应的局部区域：根据相邻两幅输入图像的位姿关系，以所述相邻两幅输入图像中的上一幅输入图像对应的局部区域为基准，将所述全景图中符合所述位姿关系的局部区域确定为所述相邻两幅输入图像中的下一幅输入图像对应的局部区域；其中，在计算第j个候选区域的能量函数时，第一幅输入图像对应的局部区域为所述第j个候选区域。
例如，当输入下一幅图像时，根据SLAM中前后两幅图像之间的位姿关系，可以确定下一幅图像在全景图上的位置。例如：根据位姿关系，确定下一幅图像的位置处于当前图像的右边，则下一幅图像的搜索范围则应该是相应候选区域的右边。
在计算得到每个候选区域的能量函数时，确定输入图像的匹配对的方法包括：在所述输入图像序列包括的图像数量小于数量阈值时，若所述候选区域的能量函数小于第一能量阈值，确定所述候选区域为所述输入图像的匹配对；若所述候选区域的能量函数大于第二能量阈值，确定所述候选区域为无效候选区域，其中所述第一能量阈值小于所述第二能量阈值；在所述输入图像序列包括的图像数量大于所述数量阈值时，没有候选区域的能量函数小于所述第一能量阈值，确定全部候选区域均为无效候选区域，重新获取所述输入图像的候选区域。
由于上述实施例关注的是全景图每个局部区域与输入图像之间的相似性，即局部特征。但在重复性场景中，每个候选区域的能量函数都比较小，可能无法得到输入图像在全景图中的正确位置，此时可以利用全景图中特殊物体的拓扑结构。当候选区域的窗口集合包含一个或以上的特殊物体时，对应的分割图像应该也会有特殊的结构。
基于此，在根据所述能量函数无法确定所述输入图像的匹配对时，还可以根据所述输入图像序列构建出来的点云图，生成二维语义分割图；利用所述二维语义分割图和对应候选区域覆盖的全景图的语义分割图进行形状匹配，确定所述全景图与输入图像序列的匹配对集合。
在确定所述全景图与输入图像序列的匹配对集合之后，继续执行步骤S130，即根据所述匹配对集合计算SLAM的目标函数，将所述目标函数加入到所述SLAM的优化过程中进行点云与扫描轨迹的优化。
利用全景图进行优化，其能量函数只与每幅输入图像的位姿参数ξ相关，其中，位姿参数ξ的李代数表示为
Figure BDA0002111676210000071
位姿参数ξ在不考虑尺度时，其自由度是6，位移参数ρ是长度为3的向量，与位移向量有关；旋转角度参数
Figure BDA0002111676210000072
也是长度为3的向量，与旋转矩阵有关，这些向量通过转换可以得到位姿参数的位移向量与旋转矩阵。
本实施例中，特征相似性EDj只与位姿参数中的位移相关，而形状匹配中，由于利用位姿参数修正了输入图像的透视畸变，因此其能量函数与位移和旋转角都有关。由此，本实施例的目标函数为
Figure BDA0002111676210000081
加入所述目标函数的所述SLAM的优化过程为
Figure BDA0002111676210000082
其中，
Figure BDA0002111676210000083
分别表示位姿参数中的位移参数和旋转角参数，
Figure BDA0002111676210000084
表示形状相似性与位移参数和旋转角参数关联，EDj(ρ)表示特征相似性与位移参数关联，α为优化系数，
Figure BDA0002111676210000085
为未加入全景图时的优化过程函数。
本发明还提供一种基于全景图的SLAM优化装置。
图2为本发明实施例示出的基于全景图的SLAM优化装置的结构框图，如图2所示，本实施例的装置包括：
图像分析单元，用于分别对全景图与输入图像序列中每幅输入图像进行特征提取；
定位计算单元，用于根据所提取特征之间的关系，确定所述全景图与输入图像序列的匹配对集合，所述匹配对标识所述输入图像在所述全景图中的位置；
优化单元，用于根据所述匹配对集合计算SLAM的目标函数，将所述目标函数加入到所述SLAM的优化过程中进行点云与扫描轨迹的优化。
在一些实施例中，定位计算单元，还用于将由所述输入图像提取到的特征与预先由所述全景图提取到的特征集合进行匹配，所述特征集合中的特征对应为基于词袋模型从全景图的局部区域的词袋模型特征；将特征之间的距离小于距离阈值的局部区域确定为与所述输入图像匹配的候选区域；根据所述候选区域在所述全景图中的位置，确定所述候选区域对应的语义分割图，并根据所述语义分割图获取所述候选区域的形状特征；根据所述候选区域的词袋模型特征与形状特征和所述输入图像的词袋模型特征与形状特征，计算所述候选区域的能量函数；根据所述能量函数确定所述输入图像的匹配对。
以及，定位计算单元，还用于根据所述输入图像序列构建出来的点云图，生成二维语义分割图；利用所述二维语义分割图和对应候选区域覆盖的全景图的语义分割图进行形状匹配，确定所述全景图与输入图像序列的匹配对集合。
在一些实施例中，定位计算单元，还用于根据
Figure BDA0002111676210000091
计算所述候选区域的特征相似性；根据
Figure BDA0002111676210000092
计算所述候选区域的形状相似性；根据
Figure BDA0002111676210000093
计算所述候选区域的能量函数。
相应的，定位计算单元，用于在所述输入图像序列包括的图像数量小于数量阈值时，若所述候选区域的能量函数小于第一能量阈值，确定所述候选区域为所述输入图像的匹配对；若所述候选区域的能量函数大于第二能量阈值，确定所述候选区域为无效候选区域，其中所述第一能量阈值小于所述第二能量阈值；在所述输入图像序列包括的图像数量大于所述数量阈值时，没有候选区域的能量函数小于所述第一能量阈值，确定全部候选区域均为无效候选区域，重新获取所述输入图像的候选区域。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明还提供了一种基于全景图的SLAM优化系统。
图3为本发明实施例示出的基于全景图的SLAM优化系统的结构示意图，如图3所示，在硬件层面，该SLAM优化系统包括处理器和存储器，可选地还包括内部总线、网络接口。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器等。当然，该SLAM优化系统还可能包括其他业务所需要的硬件，如图像采集器等。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机可执行指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成SLAM优化装置。处理器，执行存储器所存放的程序实现如上文描述的SLAM优化方法。
上述如本说明书图3所示实施例揭示的SLAM优化装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上文描述的SLAM优化方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(CentralProcessing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述SLAM优化方法的步骤。
本发明还提供了一种计算机可读存储介质。
该计算机可读存储介质存储一个或多个计算机程序，该一个或多个计算机程序包括指令，该指令执行时能够实现上文描述的SLAM优化方法。
以上所述，仅为本发明的具体实施方式，在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围应以权利要求的保护范围为准。

Claims (11)

1.一种基于全景图的SLAM优化方法，其特征在于，所述方法包括：
对输入图像序列中每幅输入图像进行特征提取，并将提取到的特征与目标地区的全景图的特征进行匹配；
根据所提取特征与预先从目标地区全景图中提取的特征之间的匹配关系，确定所述全景图与输入图像序列的匹配对集合，所述匹配对标识所述输入图像在所述全景图中的位置；
根据所述匹配对集合计算SLAM的目标函数，将所述目标函数加入到所述SLAM的优化过程中进行点云与扫描轨迹的优化。
2.根据权利要求1所述的方法，其特征在于，所述根据所提取特征与预先从目标地区全景图中提取的特征之间的匹配关系，确定所述全景图与输入图像序列的匹配对集合，包括：
将由所述输入图像提取到的特征与预先由所述全景图提取到的特征集合进行匹配，所述特征集合中的特征对应为基于词袋模型从全景图的局部区域所其提取的词袋模型特征；
将特征之间的距离小于距离阈值的局部区域确定为与所述输入图像匹配的候选区域；
根据所述候选区域在所述全景图中的位置，确定所述候选区域对应的语义分割图，并根据所述语义分割图获取所述候选区域的形状特征；
根据所述候选区域的词袋模型特征与形状特征和所述输入图像的词袋模型特征与形状特征，计算所述候选区域的能量函数；
根据所述能量函数确定所述输入图像的匹配对。
3.根据权利要求2所述的方法，其特征在于，所述根据所述语义分割图获取所述候选区域的形状特征，包括：
根据输入图像的位姿参数，对所述语义分割图进行畸变校正；
根据畸变校正后的语义分割图获取所述候选区域的形状特征。
4.根据权利要求2或3所述的方法，其特征在于，所述根据所述候选区域的词袋模型特征与形状特征和所述输入图像的词袋模型特征与形状特征，计算所述候选区域的能量函数，包括：
根据
Figure FDA0002111676200000021
计算所述候选区域的特征相似性；
根据
Figure FDA0002111676200000022
计算所述候选区域的形状相似性；
根据
Figure FDA0002111676200000023
计算所述候选区域的能量函数；
其中，vik表示第k幅输入图像的词袋模型特征向量，vpk表示与所述第k幅输入图像对应的局部区域的词袋模型特征向量，sik表示第k幅输入图像的形状特征向量，spk与所述第k幅输入图像对应的局部区域的形状特征向量，EDj、ESj与Ej分别表示第j个候选区域的特征相似性、形状相似性和能量函数，λ为预设比例系数，k和j均为自然数，分别表示输入图像的序号和候选区域的序号。
5.根据权利要求4所述的方法，其特征在于，确定第k幅输入图像对应的局部区域方法包括：
根据相邻两幅输入图像的位姿关系，以所述相邻两幅输入图像中的上一幅输入图像对应的局部区域为基准，将所述全景图中符合所述位姿关系的局部区域确定为所述相邻两幅输入图像中的下一幅输入图像对应的局部区域；
其中，在计算第j个候选区域的能量函数时，第一幅输入图像对应的局部区域为所述第j个候选区域。
6.根据权利要求2所述的方法，其特征在于，所述根据所述能量函数确定所述输入图像的匹配对，包括：
在所述输入图像序列包括的图像数量小于数量阈值时，若所述候选区域的能量函数小于第一能量阈值，确定所述候选区域为所述输入图像的匹配对；若所述候选区域的能量函数大于第二能量阈值，确定所述候选区域为无效候选区域，其中所述第一能量阈值小于所述第二能量阈值；
在所述输入图像序列包括的图像数量大于所述数量阈值时，没有候选区域的能量函数小于所述第一能量阈值，确定全部候选区域均为无效候选区域，重新获取所述输入图像的候选区域。
7.根据权利要求2所述的方法，其特征在于，在根据所述能量函数无法确定所述输入图像的匹配对时，所述根据所提取特征之间的关系，确定所述全景图与输入图像序列的匹配对集合，还包括：
根据所述输入图像序列构建出来的点云图，生成二维语义分割图；
利用所述二维语义分割图和对应候选区域覆盖的全景图的语义分割图进行形状匹配，确定所述全景图与输入图像序列的匹配对集合。
8.根据权利要求4所述的方法，其特征在于，所述目标函数为
Figure FDA0002111676200000031
加入所述目标函数的所述SLAM的优化过程为
Figure FDA0002111676200000032
其中，
Figure FDA0002111676200000033
分别表示位姿参数中的位移参数和旋转角参数，
Figure FDA0002111676200000034
表示形状相似性与位移参数和旋转角参数关联，EDj(ρ)表示特征相似性与位移参数关联，α为优化系数，
Figure FDA0002111676200000035
为未加入全景图时的优化过程函数。
9.一种基于全景图的SLAM优化装置，其特征在于，包括：
图像分析单元，用于分别对全景图与输入图像序列中每幅输入图像进行特征提取；
定位计算单元，用于根据所提取特征之间的关系，确定所述全景图与输入图像序列的匹配对集合，所述匹配对标识所述输入图像在所述全景图中的位置；
优化单元，用于根据所述匹配对集合计算SLAM的目标函数，将所述目标函数加入到所述SLAM的优化过程中进行点云与扫描轨迹的优化。
10.一种基于全景图的SLAM优化系统，其特征在于，包括：
存储器，存储计算机可执行指令；
处理器，所述计算机可执行指令在被执行时使所述处理器执行如权利要求1-8任一项所述的方法。
11.一种计算机可读存储介质，其中，所述计算机可读存储介质上存储有一个或多个计算机程序，所述一个或多个计算机程序被执行时实现如权利要求1-8任一项所述的方法。
CN201910574351.6A 2019-06-28 2019-06-28 一种基于全景图的slam优化方法、装置和系统 Active CN112148817B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910574351.6A CN112148817B (zh) 2019-06-28 2019-06-28 一种基于全景图的slam优化方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910574351.6A CN112148817B (zh) 2019-06-28 2019-06-28 一种基于全景图的slam优化方法、装置和系统

Publications (2)

Publication Number Publication Date
CN112148817A true CN112148817A (zh) 2020-12-29
CN112148817B CN112148817B (zh) 2023-09-29

Family

ID=73869294

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910574351.6A Active CN112148817B (zh) 2019-06-28 2019-06-28 一种基于全景图的slam优化方法、装置和系统

Country Status (1)

Country Link
CN (1) CN112148817B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113103232A (zh) * 2021-04-12 2021-07-13 电子科技大学 一种基于特征分布匹配的智能设备自适应运动控制方法
CN116246085A (zh) * 2023-03-07 2023-06-09 北京甲板智慧科技有限公司 用于ar望远镜的方位角生成方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075643A1 (en) * 2015-04-10 2018-03-15 The European Atomic Energy Community (Euratom), Represented By The European Commission Method and device for real-time mapping and localization
CN108594816A (zh) * 2018-04-23 2018-09-28 长沙学院 一种通过改进orb-slam算法实现定位与构图的方法和系统
CN109583457A (zh) * 2018-12-03 2019-04-05 荆门博谦信息科技有限公司 一种机器人定位与地图构建的方法及机器人
CN109636905A (zh) * 2018-12-07 2019-04-16 东北大学 基于深度卷积神经网络的环境语义建图方法
CN109816686A (zh) * 2019-01-15 2019-05-28 山东大学 基于物体实例匹配的机器人语义slam方法、处理器及机器人

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075643A1 (en) * 2015-04-10 2018-03-15 The European Atomic Energy Community (Euratom), Represented By The European Commission Method and device for real-time mapping and localization
CN108594816A (zh) * 2018-04-23 2018-09-28 长沙学院 一种通过改进orb-slam算法实现定位与构图的方法和系统
CN109583457A (zh) * 2018-12-03 2019-04-05 荆门博谦信息科技有限公司 一种机器人定位与地图构建的方法及机器人
CN109636905A (zh) * 2018-12-07 2019-04-16 东北大学 基于深度卷积神经网络的环境语义建图方法
CN109816686A (zh) * 2019-01-15 2019-05-28 山东大学 基于物体实例匹配的机器人语义slam方法、处理器及机器人

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈劭;郭宇翔;高天啸;宫清源;张军国;: "移动机器人RGB-D视觉SLAM算法", 农业机械学报, no. 10 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113103232A (zh) * 2021-04-12 2021-07-13 电子科技大学 一种基于特征分布匹配的智能设备自适应运动控制方法
CN113103232B (zh) * 2021-04-12 2022-05-20 电子科技大学 一种基于特征分布匹配的智能设备自适应运动控制方法
CN116246085A (zh) * 2023-03-07 2023-06-09 北京甲板智慧科技有限公司 用于ar望远镜的方位角生成方法和装置
CN116246085B (zh) * 2023-03-07 2024-01-30 北京甲板智慧科技有限公司 用于ar望远镜的方位角生成方法和装置

Also Published As

Publication number Publication date
CN112148817B (zh) 2023-09-29

Similar Documents

Publication Publication Date Title
US11042762B2 (en) Sensor calibration method and device, computer device, medium, and vehicle
US9349189B2 (en) Occlusion resistant image template matching using distance transform
US20190370565A1 (en) Method and apparatus for extracting lane line and computer readable storage medium
Zhou et al. T-loam: truncated least squares lidar-only odometry and mapping in real time
CN107679489B (zh) 基于场景分割的自动驾驶处理方法、装置及计算设备
CN112991447A (zh) 一种动态环境下视觉定位与静态地图构建方法及系统
EP3637308A1 (en) Method and device for positioning vehicle, device, and computer readable storage medium
US20200226392A1 (en) Computer vision-based thin object detection
CN114565668A (zh) 即时定位与建图方法及装置
CN112148817A (zh) 一种基于全景图的slam优化方法、装置和系统
US11034028B2 (en) Pose determining method for mobile robot and apparatus and mobile robot thereof
CN115588045A (zh) 移动设备的定位方法、装置、电子设备及存储介质
CN115493612A (zh) 一种基于视觉slam的车辆定位方法及装置
Goldman et al. Robust epipolar geometry estimation using noisy pose priors
CN113256683A (zh) 目标跟踪方法及相关设备
CN114972492A (zh) 一种基于鸟瞰图的位姿确定方法、设备和计算机存储介质
CN116734834A (zh) 应用于动态场景的定位建图方法、装置和智能设备
US9221558B2 (en) Apparatus and method for calculating satellite navigation visibility
US11830218B2 (en) Visual-inertial localisation in an existing map
CN115952248A (zh) 终端设备的位姿处理方法、装置、设备、介质及产品
De-Maeztu et al. A temporally consistent grid-based visual odometry framework for multi-core architectures
CN112257686B (zh) 人体姿态识别模型的训练方法、装置及存储介质
Tamas et al. Lidar and vision based people detection and tracking
CN114202689A (zh) 一种点位标注方法、装置、电子设备和存储介质
CN111339226B (zh) 一种基于分类检测网络构建地图方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant