CN117893403A - 地图拼接方法，电子设备及存储介质 - Google Patents

地图拼接方法，电子设备及存储介质 Download PDF

Info

Publication number
CN117893403A
CN117893403A CN202311766136.9A CN202311766136A CN117893403A CN 117893403 A CN117893403 A CN 117893403A CN 202311766136 A CN202311766136 A CN 202311766136A CN 117893403 A CN117893403 A CN 117893403A
Authority
CN
China
Prior art keywords
map
image
spliced
sub
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311766136.9A
Other languages
English (en)
Inventor
包川
李谣顺
贺喜
张厚展
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cloudminds Shanghai Robotics Co Ltd
Original Assignee
Cloudminds Shanghai Robotics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cloudminds Shanghai Robotics Co Ltd filed Critical Cloudminds Shanghai Robotics Co Ltd
Priority to CN202311766136.9A priority Critical patent/CN117893403A/zh
Publication of CN117893403A publication Critical patent/CN117893403A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/418—Document matching, e.g. of document images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/42—Document-oriented image-based pattern recognition based on the type of document
    • G06V30/422—Technical drawings; Geographical maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例涉及计算机视觉领域，公开了一种地图拼接方法、电子设备及存储介质，在进行子地图构建过程中，通过将感知设备的位姿信息、图像特征点信息以及图像语义拓扑信息进行关联整合，相对现有方法保存了更加丰富的地图信息；在地图拼接过程中，使用各个子地图中感知设备在不同位置采集到的图像语义拓扑信息先粗略筛选出子地图之间的共视区域，然后使用粗略筛选结果对应的图像特征点信息确定出子地图之间的真实共视区域，最后通过构建真实共视区域的线性几何约束确定出子地图之间的空间转换关系进而实现子地图的拼接，即生成完整的环境地图，从而使得拼接过程更加快速，拼接后的地图完整准确。

Description

地图拼接方法，电子设备及存储介质
技术领域
本发明涉及计算机视觉领域，特别涉及一种地图拼接方法、电子设备及存储介质。
背景技术
随着越来越多的智能机器人应用到生活中的各个场景，在机器人的作业过程中机器人的首要任务就是需要完成对其作业环境的地图构建，其中不乏有大量的视觉地图构建任务。在视觉地图构建的过程中，尤其是对大型环境的视觉地图构建时需要将该环境划分为多个子区域进行构建，然后通过对子区域的视觉地图进行拼接来完成该环境完整的视觉地图构建。其中子地图之间的共视区域检测是地图拼接过程中尤其重要的组成部分，其检测速度和准确度直接影响到地图拼接的质量和速度。
现有地图拼接过程中，各子地图之间的共视区域的检测是通过比较各个子地图中机器人每个位置采集到的每个特征点信息的相似度匹配来完成。由于地图采集过程中机器人位置多变、图像特征点信息数据量较大，该方法会耗费大量的计算资源及时间，且会有一定的误匹配存在，从而导致地图拼接的失败。
发明内容
本发明实施方式的目的在于提供一种地图拼接方法、电子设备及存储介质，能够快速准确的实现地图拼接。
为解决上述技术问题，本发明的实施方式提供了一种地图拼接方法，包括：
利用感知设备对目标环境中N个区域进行图像采集后所得到每张图像对应的图像语义拓扑信息、图像特征点信息及感知设备的位姿信息，构建所述N个区域对应的N个子地图；
从所述N个子地图中选择两个子地图分别作为基准地图和待拼接地图，对所述基准地图和所述待拼接地图执行如下拼接操作：
将所述基准地图中每张图像的图像语义拓扑信息与所述待拼接地图中每张图像的图像语义拓扑信息分别进行相似性比较，确定所述基准地图和所述待拼接地图中具有共视区域的图像对；
根据所述图像对中两张图像所对应的所述图像特征点信息的相似性构建几何线性约束，得到所述基准地图和所述待拼接地图之间的空间转换关系，并利用所述空间转换关系将所述基准地图和所述待拼接地图进行拼接；
以拼接后的地图作为新的所述基准地图，从所述N个子地图中选择一个未拼接的子地图作为新的所述待拼接地图再次执行所述拼接操作，直到所述N个子地图全部被拼接在一起。
本发明的实施方式还提供了一种电子设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的地图拼接方法。
本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的地图拼接方法。
本发明实施方式相对于现有技术而言，通过利用感知设备对目标环境中N个区域进行图像采集后所得到每张图像对应的图像语义拓扑信息、图像特征点信息及感知设备的位姿信息，构建N个区域对应的N个子地图；从N个子地图中选择两个子地图分别作为基准地图和待拼接地图，对基准地图和待拼接地图执行如下拼接操作：将基准地图中每张图像的图像语义拓扑信息与待拼接地图中每张图像的图像语义拓扑信息分别进行相似性比较，确定基准地图和待拼接地图中的共视区域的图像对；根据图像对中两张图像所对应的图像特征点信息的相似性构建几何线性约束，得到基准地图和待拼接地图之间的空间转换关系，并利用空间转换关系将基准地图和待拼接地图进行拼接；以拼接后的地图作为新的基准地图，从N个子地图中选择一个未拼接的子地图作为新的待拼接地图再次执行拼接操作，直到N个子地图全部被拼接在一起。本方案中，在利用感知设备进行子地图构建过程中，将感知设备的位姿信息、图像特征点信息以及图像语义拓扑信息进行关联整合，相对现有方法保存了更加丰富的地图信息；在地图拼接过程中，使用各个子地图中感知设备在不同位置采集到的图像语义拓扑信息先粗略筛选出子地图之间的共视区域，然后使用粗略筛选结果对应的图像特征点信息确定出子地图之间的真实共视区域，最后通过构建真实共视区域的线性几何约束确定出子地图之间的空间转换关系进而实现子地图的拼接，即生成完整的环境地图，从而使的拼接过程更加快速，拼接后的地图完整准确。
附图说明
图1是根据本发明实施方式的地图拼接方法的具体流程图；
图2是根据本发明实施方式的图像语义拓扑信息的获取流程图；
图3是根据本发明实施方式的几何线性约束的示意图；
图4是根据本发明实施方式的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
本发明的一实施方式涉及一种地图拼接方法，可以应用于机器人(该机器人身上安装有感知设备)，或者，可以应用于安装在智能手机、笔记本电脑或服务器上的机器人客户端，该机器人客户端可与机器人通过网络通信进行信息、指令的交互。
在对目标环境进行地图构建(即建图)时，通常需要先使用感知设备(比如：惯性测量单元、激光传感器、相机等)来感知目标环境，例如通过安装有感知设备的机器人针对目标环境进行移动扫描来感知目标环境的场景信息，然后基于感知设备获取到的场景信息(比如：激光点云数据、视觉图像等)进行地图构建。实际应用中，在对一些较大的目标环境(比如：室外场景，或者房间较多、面积较大的室内场景)进行地图构建时，一次性获取整个目标环境的全部场景信息难度较大，且存在建图过程中一旦发生错误就需要重新建图的缺陷。
本实施例中，在生成目标环境的全局地图时，首先，将目标环境划分为多个不同的区域，其中，不同的区域之间存在重叠区域，也可称为共视区域；然后，针对不同的区域分别通过感知设备采集对应的场景信息，并根据各区域对应场景信息构建各区域的子地图；之后，将目标环境中多个不同区域对应的多个子地图进行拼接，以得到目标环境的全局地图。
其中，在生成目标环境的全局地图时，将多个子地图进行拼接，实际上是指将多个子地图转换到同一坐标系下，并将各子地图中用于表示同一重叠区域的部分子地图对齐，也即使多个子地图中用于表示同一重叠区域的部分子地图重合。
如图1所示，本实施方式中的地图拼接方法包括如下步骤。
步骤101：利用感知设备对目标环境中N个区域进行图像采集后所得到每张图像对应的图像语义拓扑信息、图像特征点信息及感知设备的位姿信息，构建N个区域对应的N个子地图。
具体地，将目标环境(如商场环境、道路及周边环境、家居环境等)大致分为N个区域，利用可移动的机器人(其身上设置有具有图像采集功能的感知设备，如相机等)对每个区域分别进行图像采集，得到感知设备针对每个区域以不同位姿状态所拍摄的多张图像。对这些图像进行处理以确定出每张图像对应的图像语义拓扑信息、图像特征点信息及机器人位姿信息。基于这三种信息构建N个区域对应的N个子地图。
例如，对N个区域构建出与之对应的N个子地图可记为M1，M2，...，Mn。在每个子地图的构建过程中需要保存感知设备在每个位姿状态下所拍摄到的图像的图像语义拓扑信息及图像特征点信息。不同区域的子地图的坐标系的原点不完全相同。
在一些实施例中，获取每张图像对应的图像语义拓扑信息可包括：步骤a，通过语义分割算法对每张图像进行语义分割得到语义描述图；步骤b，对语义描述图中各描述区域的中心点采用随机游走(Random Walk)算法进行计算，得到对应的图像语义拓扑图。
例如图2所示，位于左侧的图像为拍摄的道路及周边环境的图像，该图像语义中包含道路、车辆、房屋建筑、绿植、天空。利用语义分割算法对该图像进行语义分割处理即可得到位于中间的语义描述图。接着，确定语义描述图中各描述区域(道路、车辆、房屋建筑、绿植、天空)的中心点(图中的圆点)，以这些中心点作为顶点，采用随机游走(Random Walk)算法进行计算，得到位于右侧的图像语义拓扑图。该图像语义拓扑图中，各顶点为语义描述图中各描述区域的中心点，每两点之间的连线为从其中一个顶点随机跳跃到另一个顶点的概率，这个概率的大小表征了这两个顶点之间的空间位置关系。
在一些实施例中，获取每张图像对应的图像特征点信息可包括：采用如下中的一种特征提取算法对每张图像进行特征提取，得到对应的图像特征点信息：ORB(OrientedFast and Rotated Brief)、尺度不变特征变换(SIFT)和SuperPoint算法。
其中，ORB是用来对图像中的关键点快速创建特征向量，这些特征向量可以用来识别图像中的对象。
步骤102：从N个子地图中选择两个子地图分别作为基准地图和待拼接地图，对基准地图和待拼接地图执行如下步骤103～105所示的拼接操作。
其中，在初始对N个子地图进行拼接时，可从N个子地图中选择两个子地图分别作为基准地图和待拼接地图，然后对基准地图和待拼接地图执行如下拼接操作。
步骤103：将基准地图中每张图像的图像语义拓扑信息与待拼接地图中每张图像的图像语义拓扑信息分别进行相似性比较，确定基准地图和待拼接地图的共视区域的图像对。
具体地，可以对上述子地图M1、Mn之间的共视区域的图像对进行检测为例进行说明，M1构建过程采集了感知设备m1个位姿信息及图像语义拓扑信息，Mn构建过程采集了感知设备mn个位姿信息及图像语义拓扑信息；通过将子地图Mn的mn个图像语义拓扑信息与子地图M1的m1个图像语义拓扑信息进行相似性匹配可得到O1n个共视区域的图像对。在该过程中只需要进行m1×mn次匹配即可得到共视区域的图像对，能加快子地图的拼接进程。
在一些实施例中，本步骤的具体实现过程可包括：将基准地图中每张图像的图像语义拓扑信息与待拼接地图中每张图像的图像语义拓扑信息分别进行相似性比较，将相似度大于预设阈值的两张图像确定为基准地图和待拼接地图的共视区域的图像对。
例如，为了量化共视区域的判断标准，可以针对不同目标环境的子地图设置不同的判定共视区域的相似度值，当从基准地图中提取的一张图像的图像语义拓扑信息与从待拼接地图中的一张图像的图像语义拓扑信息进行相似度计算时，当计算的相似度值大于预设阈值时，则将这两张图像确定为基准地图和待拼接地图的一个共视区域的图像对。
当利用图像语义拓扑图来代表图像语义拓扑信息时，本步骤也可通过比较图像语义拓扑图之间的相似性来确定共视区域的图像对。例如，将基准地图中每张图像的图像语义拓扑图与待拼接地图中每张图像的图像语义拓扑图分别进行相似性比较，将相似度大于预设阈值的两张图像确定为基准地图和待拼接地图的共视区域的图像对。
需要说明的是，本实施例中对两个图像的图像语义拓扑信息(图像语义拓扑图)进行相似度计算的计算方法，用于判定共视区域的预设阈值的大小不做限定，可根据实际需求灵活设置。
步骤104：根据图像对中两张图像所对应的图像特征点信息的相似性构建几何线性约束，得到基准地图和待拼接地图之间的空间转换关系，并利用空间转换关系将基准地图和待拼接地图进行拼接。
具体地，在得到共视区域的图像对后，可以针对图像对中两个图像所对应的两组图像特征点信息通过相似性比较确定相似地图点；利用相似地图点构建几何线性约束，该几何线性约束可以采用几何线性方程来描述；将相似地图点在各自子地图的坐标系中的坐标带入到几何线性约束中，即可通过求解方程得到基准地图和待拼接地图之间的空间转换关系，进而利用空间转换关系将基准地图和待拼接地图进行拼接。
在一些实施例中，本步骤可具体包括如下步骤：步骤c，根据图像对中两张图像所对应的图像特征点信息的相似性确定共视地图点，并基于两张图像所对应的感知设备的位姿信息确定共视地图点在基准地图的坐标系中的第一坐标和在待拼接地图的坐标系中的第二坐标；步骤d，利用多个共视地图点所对应的多组第一坐标和所述第二坐标，对预设的用于描述空间转换关系的几何线性方程进行求解，确定空间转换关系；步骤e，根据确定的空间转换关系，将基准地图和待拼接地图进行拼接。
在步骤c中，通过对图像对中两张图像所对应的图像特征点信息进行相似性比较可以确定出相似度较高的相似地图点，并将其记为共视地图点；由于每个子地图有自己独立使用的坐标系，在确定出共视地图点后，将继续明确出共视地图点分别在两个子地图中的坐标系的坐标。例如将共视地图点在基准地图的坐标系中的坐标记为第一坐标，将共视地图点在待拼接地图的坐标系中的坐标记为第二坐标。
例如，子地图M1和M2通过上述的共视区域检测得到共视地图点为P1、P2、P3...Pn，其中共视点在子地图M1的坐标系(O1-X1Y1Z1)中的第一坐标表示为在子地图M2的坐标系(O2-X2Y2Z2)中的第二坐标表示为/>
在步骤d中，可以利用预先构建的几何线性方程来描述两个坐标系中坐标的变换关系，然后通过将多个共视地图点所对应的多组第一坐标和所述第二坐标作为采样点，对预设的用于描述空间转换关系的几何线性方程进行求解，确定该空间转换关系中的未知参数，进而确定出空间转换关系。
例如，可以先构建上述几何线性方程为：其中，/>代表第一坐标，代表第二坐标，R、t均为空间转换关系的变换系数；该变换系数即为该几何线性方程待求的解；然后，利用多个共视地图点所对应的多组第一坐标和所述第二坐标求解R、t，确定空间转换关系。
例如根据图3所示的几何线性约束可知，对于共视地图点为P1、P2、P3、P4，...，在确定出其在子地图M1的坐标系中的第一坐标、以及在子地图M2的坐标系中的第二坐标后，以每组第一坐标和第二坐标带入到上述几何线性方程得到多个方程(方程数量与待求解未知量的数量相同)，通过联立方程组求解，确定几何线性方程中的未知量R、t，从而确定空间转换关系。
在步骤e中，在确定出基准地图和待拼接地图之间坐标系的空间转换关系后，就可以根据确定的空间转换关系将基准地图和待拼接地图统一到同一坐标系下，以完成拼接操作。例如，可以将基准地图的坐标系中的坐标点转换到待拼接地图的坐标系中，也可以将待拼接地图的坐标系中的坐标点转换到基准地图的坐标系中来实现坐标系统一。
步骤105：以拼接后的地图作为新的基准地图，从N个子地图中选择一个未拼接的子地图作为新的待拼接地图再次执行拼接操作(即执行步骤103～105)，直到N个子地图全部被拼接在一起。
在每完成一次上述拼接操作(步骤103～105)的流程后，如果N个子地图中还存在未与任何一个子地图拼接的子地图，那么在步骤105后，当前拼接后形成的地图则自动作为新的基准地图，同时也会从N个子地图选择出一个未拼接的子地图作为新的待拼接地图。在确定出一组新的基准地图和待拼接地图后，继续对这组地图执行上述拼接操作。直到N个子地图全部被拼接在一起，整个拼接过程结束。
与相关技术比较，本实施例通过利用感知设备对目标环境中N个区域进行图像采集后所得到每张图像对应的图像语义拓扑信息、图像特征点信息及机器人位姿信息，构建N个区域对应的N个子地图；从N个子地图中选择两个子地图分别作为基准地图和待拼接地图，对基准地图和待拼接地图执行如下拼接操作：将基准地图中每张图像的图像语义拓扑信息与待拼接地图中每张图像的图像语义拓扑信息分别进行相似性比较，确定基准地图和待拼接地图中的共视区域的图像对；根据图像对中两张图像所对应的图像特征点信息的相似性构建几何线性约束，得到基准地图和待拼接地图之间的空间转换关系，并利用空间转换关系将基准地图和待拼接地图进行拼接；以拼接后的地图作为新的基准地图，从N个子地图中选择一个未拼接的子地图作为新的待拼接地图再次执行拼接操作，直到N个子地图全部被拼接在一起。本方案中，在利用感知设备进行子地图构建过程中，将感知设备的位姿信息、图像特征点信息以及图像语义拓扑信息进行关联整合，相对现有方法保存了更加丰富的地图信息；在地图拼接过程中，使用各个子地图中感知设备在不同位置采集到的图像语义拓扑信息先粗略筛选出子地图之间的共视区域，然后使用粗略筛选结果对应的图像特征点信息确定出子地图之间的真实共视区域，最后通过构建真实共视区域的线性几何约束确定出子地图之间的空间转换关系进而实现子地图的拼接，即生成完整的环境地图，从而使的拼接过程更加快速，拼接后的地图完整准确。
本实施例中，在对两个子地图之间的共视区域进行检测时，是先利用子地图中图像的语义拓扑信息的相似度对各子地图之间的共视区域进行判断得到粗略筛选结果，然后对粗略筛选结果的图像特征点的相似度进行精确比较得到准确的共视区域。利用这种由粗略到精确的共视区域筛选方法能够有效的加速地图的拼接过程，且能够有效的提高地图拼接的准确度。
本发明的另一实施方式涉及一种电子设备，如图4所示，包括至少一个处理器202；以及，与至少一个处理器202通信连接的存储器201；其中，存储器201存储有可被至少一个处理器202执行的指令，指令被至少一个处理器202执行，以使至少一个处理器202能够执行上述任一方法实施例。
其中，存储器201和处理器202采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器202和存储器201的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器202处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器202。
处理器202负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器201可以被用于存储处理器202在执行操作时所使用的数据。
本发明的另一实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述任一方法实施例。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (10)

1.一种地图拼接方法，其特征在于，包括：
利用感知设备对目标环境中N个区域进行图像采集后所得到每张图像对应的图像语义拓扑信息、图像特征点信息及感知设备的位姿信息，构建所述N个区域对应的N个子地图；
从所述N个子地图中选择两个子地图分别作为基准地图和待拼接地图，对所述基准地图和所述待拼接地图执行如下拼接操作：
将所述基准地图中每张图像的图像语义拓扑信息与所述待拼接地图中每张图像的图像语义拓扑信息分别进行相似性比较，确定所述基准地图和所述待拼接地图的共视区域的图像对；
根据所述图像对中两张图像所对应的所述图像特征点信息的相似性构建几何线性约束，得到所述基准地图和所述待拼接地图之间的空间转换关系，并利用所述空间转换关系将所述基准地图和所述待拼接地图进行拼接；
以拼接后的地图作为新的所述基准地图，从所述N个子地图中选择一个未拼接的子地图作为新的所述待拼接地图再次执行所述拼接操作，直到所述N个子地图全部被拼接在一起。
2.根据权利要求1所述的方法，其特征在于，所述将所述基准地图中每张图像的图像语义拓扑信息与所述待拼接地图中每张图像的图像语义拓扑信息分别进行相似性比较，确定所述基准地图和所述待拼接地图中的共视区域的图像对，包括：
所述将所述基准地图中每张图像的图像语义拓扑信息与所述待拼接地图中每张图像的图像语义拓扑信息分别进行相似性比较，将相似度大于预设阈值的两张图像确定为所述基准地图和所述待拼接地图的共视区域的图像对。
3.根据权利要求1所述的方法，其特征在于，所述根据所述图像对中两张图像所对应的所述图像特征点信息的相似性构建几何线性约束，得到所述基准地图和所述待拼接地图之间的空间转换关系，并利用所述空间转换关系将所述基准地图和所述待拼接地图进行拼接，包括：
根据所述图像对中两张图像所对应的所述图像特征点信息的相似性确定共视地图点，并基于所述两张图像所对应的所述感知设备的位姿信息确定所述共视地图点在所述基准地图的坐标系中的第一坐标和在所述待拼接地图的坐标系中的第二坐标；
利用多个所述共视地图点所对应的多组所述第一坐标和所述第二坐标，对预设的用于描述所述空间转换关系的几何线性方程进行求解，确定所述空间转换关系；
根据确定的所述空间转换关系，将所述基准地图和所述待拼接地图进行拼接。
4.根据权利要求3所述的方法，其特征在于，所述利用多个所述共视地图点所对应的多组所述第一坐标和所述第二坐标，对预设的用于描述所述空间转换关系的几何线性方程进行求解，确定所述空间转换关系，包括：
构建所述几何线性方程：其中，/>代表所述第一坐标，/>代表所述第二坐标，R、t均为所述空间转换关系的变换系数；
利用多个所述共视地图点所对应的多组所述第一坐标和所述第二坐标求解R、t，确定所述空间转换关系。
5.根据权利要求3所述的方法，其特征在于，所述根据确定的所述空间转换关系，将所述基准地图和所述待拼接地图进行拼接，包括：
根据确定的所述空间转换关系，将所述基准地图和所述待拼接地图变换到同一坐标系中，以完成拼接操作。
6.根据权利要求2所述的方法，其特征在于，获取所述每张图像对应的所述图像语义拓扑信息包括：
通过语义分割算法对所述每张图像进行语义分割得到语义描述图；
对语义描述图中各描述区域的中心点采用随机游走(Random Walk)算法进行计算，得到对应的图像语义拓扑图。
7.根据权利要求6所述的方法，其特征在于，所述将所述基准地图中每张图像的图像语义拓扑信息与所述待拼接地图中每张图像的图像语义拓扑信息分别进行相似性比较，将相似度大于预设阈值的两张图像确定为所述基准地图和所述待拼接地图的共视区域的图像对，包括：
将所述基准地图中每张图像的所述图像语义拓扑图与所述待拼接地图中每张图像的所述图像语义拓扑图分别进行相似性比较，将相似度大于预设阈值的两张图像确定为所述基准地图和所述待拼接地图的共视区域的图像对。
8.根据权利要求1所述的方法，其特征在于，获取所述每张图像对应的所述图像特征点信息包括：
采用如下中的一种特征提取算法对所述每张图像进行特征提取，得到对应的图像特征点信息：ORB、尺度不变特征变换(SIFT)和SuperPoint算法。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至8中任一项所述的地图拼接方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的地图拼接方法。
CN202311766136.9A 2023-12-20 2023-12-20 地图拼接方法，电子设备及存储介质 Pending CN117893403A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311766136.9A CN117893403A (zh) 2023-12-20 2023-12-20 地图拼接方法，电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311766136.9A CN117893403A (zh) 2023-12-20 2023-12-20 地图拼接方法，电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN117893403A true CN117893403A (zh) 2024-04-16

Family

ID=90638735

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311766136.9A Pending CN117893403A (zh) 2023-12-20 2023-12-20 地图拼接方法，电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN117893403A (zh)

Similar Documents

Publication Publication Date Title
US11313684B2 (en) Collaborative navigation and mapping
CN102426019B (zh) 一种无人机景象匹配辅助导航方法及系统
CN113674416B (zh) 三维地图的构建方法、装置、电子设备及存储介质
CN110073362A (zh) 用于车道标记检测的系统及方法
CN112784873B (zh) 一种语义地图的构建方法及设备
CN107967457A (zh) 一种适应视觉特征变化的地点识别与相对定位方法及系统
CN110969648B (zh) 一种基于点云序列数据的3d目标跟踪方法及系统
Liang et al. Image-based positioning of mobile devices in indoor environments
CN111709988A (zh) 一种物体的特征信息的确定方法、装置、电子设备及存储介质
Jiang et al. Learned local features for structure from motion of uav images: A comparative evaluation
CN113822996B (zh) 机器人的位姿估计方法及装置、电子设备、存储介质
CN111812978A (zh) 一种多无人机协作slam方法与系统
Zhang et al. Improved feature point extraction method of ORB-SLAM2 dense map
CN113592015B (zh) 定位以及训练特征匹配网络的方法和装置
Lu et al. A lightweight real-time 3D LiDAR SLAM for autonomous vehicles in large-scale urban environment
CN114913246B (zh) 相机标定方法、装置、电子设备及存储介质
CN115239899B (zh) 位姿图生成方法、高精地图生成方法和装置
CN110853098A (zh) 机器人定位方法、装置、设备及存储介质
Fernández et al. A study of visual descriptors for outdoor navigation using google street view images
CN115239902A (zh) 移动设备的周边地图建立方法、装置、设备及存储介质
CN117893403A (zh) 地图拼接方法，电子设备及存储介质
Sun et al. Accurate deep direct geo-localization from ground imagery and phone-grade gps
CN118379330B (zh) 基于四摄像头的目标跟踪方法、集群机器人和存储介质
Zhao et al. Place recognition with deep superpixel features for brain-inspired navigation
CN117537803B (zh) 机器人巡检语义-拓扑地图构建方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination