CN116539026B - 地图构建方法、装置、设备及存储介质 - Google Patents
地图构建方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116539026B CN116539026B CN202310825350.0A CN202310825350A CN116539026B CN 116539026 B CN116539026 B CN 116539026B CN 202310825350 A CN202310825350 A CN 202310825350A CN 116539026 B CN116539026 B CN 116539026B
- Authority
- CN
- China
- Prior art keywords
- prior
- frame
- scene
- map
- pose
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010276 construction Methods 0.000 title claims abstract description 33
- 238000005457 optimization Methods 0.000 claims abstract description 85
- 230000009466 transformation Effects 0.000 claims description 27
- 238000000034 method Methods 0.000 claims description 23
- 238000001514 detection method Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 11
- 230000004927 fusion Effects 0.000 description 8
- 238000010408 sweeping Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/206—Drawing of charts or graphs
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种地图构建方法、装置、设备及存储介质，该地图构建方法包括：获取预构建场景对应的先验地图，以及获取当前采集的预构建场景的场景关键帧序列；场景关键帧序列中含有至少一个先验基准帧；对先验基准帧和先验地图进行匹配，根据匹配结果得到先验基准帧相对先验地图的基准位姿；基于先验基准帧的基准位姿，对场景关键帧序列中的场景关键帧进行回环优化；利用回环优化后的场景关键帧序列构建目标地图，可以使得优化后的场景关键帧序列的误差分布与先验地图的误差分布相近，进而提高根据场景关键帧序列构建实时地图的准确性。
Description
技术领域
本申请涉及数据处理技术领域，特别是涉及一种地图构建方法、装置、设备及存储介质。
背景技术
近些年来，机器人越来越智能，例如服务型机器人、扫地机器人等。机器人的智能化离不开稳定准确的建图和定位技术，准确的地图是机器人实现感知、定位、规划和控制等功能的基础。
随着智能化的程度越来越高，机器人在工作时会融合使用多张地图。例如，智能化的扫地机器人一般会使用两张地图，在开始工作之前，扫地机器人会先使用一张已有的地图用来规划任务和设置任务，使得后面的清扫工作更加高效（这种地图一般称为先验地图），开始工作后扫地机器人会根据传感器的信息实时构建一张地图来实现定位和避障等功能（这张地图一般称为后验地图）。为了地图信息的统一，先验地图和后验地图会被实时融合在一起使用，即根据坐标将两张地图融合显示在一张地图上。
但是，多张地图融合会存在地图偏移（例如图1中的地图重影），从而给机器人的任务执行带来巨大的影响。
发明内容
本申请至少提供一种地图构建方法、装置、设备及存储介质。
本申请第一方面提供了一种地图构建方法，包括：获取预构建场景对应的先验地图，以及获取当前采集的所述预构建场景的场景关键帧序列；所述场景关键帧序列中含有至少一个先验基准帧；对所述先验基准帧和所述先验地图进行匹配，根据匹配结果得到所述先验基准帧相对所述先验地图的基准位姿；基于所述先验基准帧的基准位姿，对所述场景关键帧序列中的场景关键帧进行回环优化；利用回环优化后的场景关键帧序列构建目标地图。
在一实施例中，所述场景关键帧序列中的每个场景关键帧对应有初始位姿；所述基于所述先验基准帧的基准位姿，对所述场景关键帧序列中的场景关键帧进行回环优化，包括：检测所述场景关键帧序列中与所述先验基准帧匹配的场景关键帧，得到目标回环帧；基于所述先验基准帧的基准位姿和所述目标回环帧对应的初始位姿，计算所述先验基准帧和所述目标回环帧之间的位姿变换关系，得到先验位姿变换关系；利用所述先验位姿变换关系，对各个场景关键帧的初始位姿进行回环优化。
在一实施例中，所述从所述场景关键帧序列中检测与所述先验基准帧匹配的场景关键帧，得到目标回环帧，包括：获取所述场景关键帧序列中的新增关键帧；计算所述先验基准帧与所述新增关键帧之间的相似度，得到第一相似度；若所述第一相似度大于相似度阈值，则将所述新增关键帧作为与所述先验基准帧匹配的目标回环帧。
在一实施例中，所述方法还包括：若所述第一相似度不大于相似度阈值，则获取所述场景关键帧序列中所述新增关键帧对应的候选回环帧；计算所述新增关键帧与各个候选回环帧之间的相似度，得到第二相似度；将第二相似度大于相似度阈值的候选回环帧，作为所述新增关键帧对应的后验基准帧；利用所述后验基准帧，对所述场景关键帧序列中的场景关键帧进行回环优化。
在一实施例中，所述利用所述后验基准帧，对所述场景关键帧序列中的场景关键帧进行回环优化，包括：将所述场景关键帧序列中的场景关键帧划分为先验优化关键帧和后验优化关键帧；其中，所述先验优化关键帧是指根据先验基准帧进行回环优化后的场景关键帧，所述后验优化关键帧是指未根据先验基准帧进行回环优化的场景关键帧；以及，基于所述新增关键帧对应的初始位姿和所述后验基准帧对应的初始位姿，计算所述新增关键帧和所述后验基准帧之间的位姿变换关系，得到后验位姿变换关系；利用所述后验位姿变换关系，对所述场景关键帧序列中的后验优化关键帧的初始位姿进行回环优化。
在一实施例中，所述对所述先验基准帧和所述先验地图进行匹配，根据匹配结果得到所述先验基准帧相对所述先验地图的基准位姿，包括：获取所述先验基准帧对应的初始位姿；基于所述先验基准帧对应的初始位姿，从所述先验地图中确定候选匹配区域；对所述先验基准帧和所述候选匹配区域进行特征比对，得到所述先验基准帧相对所述先验地图的基准位姿。
在一实施例中所述利用回环优化后的场景关键帧序列构建目标地图，包括：利用回环优化后的场景关键帧序列构建后验地图；融合所述后验地图和所述先验地图，得到目标地图。
本申请第二方面提供了一种地图构建装置，包括：获取模块，用于获取预构建场景对应的先验地图，以及获取当前采集的所述预构建场景的场景关键帧序列；所述场景关键帧序列中含有至少一个先验基准帧；匹配模块，用于对所述先验基准帧和所述先验地图进行匹配，根据匹配结果得到所述先验基准帧相对所述先验地图的基准位姿；优化模块，用于基于所述先验基准帧的基准位姿，对所述场景关键帧序列中的场景关键帧进行回环优化；地图构建模块，用于利用回环优化后的场景关键帧序列构建目标地图。
本申请第三方面提供了一种电子设备，包括存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述地图构建方法。
本申请第四方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述地图构建方法。
上述方案，通过获取预构建场景对应的先验地图，以及获取当前采集的预构建场景的场景关键帧序列；场景关键帧序列中含有至少一个先验基准帧；对先验基准帧和先验地图进行匹配，根据匹配结果得到先验基准帧相对先验地图的基准位姿，使得该先验基准帧的误差分布与先验地图的误差分布相近；然后，基于先验基准帧的基准位姿，对场景关键帧序列中的场景关键帧进行回环优化；利用回环优化后的场景关键帧序列构建目标地图，可以使得优化后的场景关键帧序列的误差分布也与先验地图的误差分布相近，进而提高根据场景关键帧序列构建实时地图的准确性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。
图1是现有技术中的地图融合重影的示意图；
图2是本申请的一示例性实施例示出的地图构建方法的流程图；
图3是本申请的一示例性实施例示出的获取基准位姿的流程图；
图4是本申请的一示例性实施例示出的回环优化的流程图；
图5是本申请的一示例性实施例示出的场景关键帧序列示意图；
图6是本申请的一示例性实施例示出的约束存在矛盾的示意图；
图7是本申请的一示例性实施例示出的回环优化的示意图；
图8是本申请的一示例性实施例示出的地图构建装置的框图；
图9是本申请的一示例性实施例示出的电子设备的结构示意图；
图10是本申请的一示例性实施例示出的计算机可读存储介质的结构示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“和/或”，仅仅是一种描述关联对象的关联信息，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
请参阅图2，图2是本申请的一示例性实施例示出的地图构建方法的流程图，如图2所示，地图构建方法至少包括步骤S210至步骤S240，详细介绍如下：
步骤S210：获取预构建场景对应的先验地图，以及获取当前采集的预构建场景的场景关键帧序列；场景关键帧序列中含有至少一个先验基准帧。
其中，先验地图是预先构建的地图，该先验地图含有预构建场景的部分空间或者全部空间的物体分布特征。先验地图可以为点云地图，也可以为实景模拟地图，本申请对此不进行限定。
场景关键帧序列是场景采集装置采集得到的，场景关键帧序列由多个场景关键帧组成，并根据场景关键帧被采集的先后顺序排序。
示例性地，可移动机器人上配置有场景采集装置，可移动机器人在预构建场景中进行移动时，场景采集装置随着机器人的移动对预构建场景进行场景采集，得到场景关键帧序列。
其中，场景采集装置可以是激光雷达装置，其采集到的场景关键帧可以为激光点云数据；场景采集设备也可以是图像采集装置，其采集到的场景关键帧可以为图像数据，本申请不对场景采集装置以及场景关键帧的类型进行限定。
以激光雷达装置为例，可移动机器人通过激光雷达获取激光点云数据。每一帧的激光点云数据经过前端匹配后会形成一帧激光点云关键帧，即得到场景关键帧。
场景关键帧序列中含有至少一个先验基准帧，先验基准帧可以是场景关键帧序列中的任意场景关键帧。
示例性地，先验基准帧可以为可移动机器人启动地图构建业务后，获取到的首个场景关键帧；先验基准帧还可以为含有指定标志物的场景关键帧，可以根据实际应用情况灵活选择先验基准帧的确定方式，本申请对此不进行限定。
另外，场景关键帧序列中可以含有一个先验基准帧，也可以含有多个先验基准帧，可以根据实际应用情况灵活确定先验基准帧的数量，例如根据先验地图覆盖的场景大小确定先验基准帧的数量，本申请对此不进行限定。
步骤S220：对先验基准帧和先验地图进行匹配，根据匹配结果得到先验基准帧相对先验地图的基准位姿。
其中，场景关键帧的位姿是指采集得到该场景关键帧时，可移动机器人的位置信息和姿态信息。
将先验基准帧和先验地图进行匹配，以根据先验地图对先验基准帧进行重定位，得到先验基准帧相对先验地图的基准位姿。
示例性地，提取先验基准帧中含有的特征点，得到先验基准帧对应的特征点分布信息，以及，提取先验地图中含有的特征点，得到先验地图对应的特征点分布信息。然后，对比先验基准帧对应的特征点分布信息和先验地图对应的特征点分布信息，从先验地图中查找到与先验基准帧一致的场景画面，并根据先验基准帧与该场景画面之间的特征点分布差异，计算该先验基准帧相对先验地图的基准位姿。
示例性地，还可以预先训练有位姿识别模型，该位姿识别模型可以对输入的先验基准帧和先验地图进行匹配识别，输出该先验基准帧相对该先验地图的基准位姿。
可以理解的是，先验基准帧和先验地图之间进行匹配的方式可以根据实际情况进行灵活选择，本申请对此不进行限定。
步骤S230：基于先验基准帧的基准位姿，对场景关键帧序列中的场景关键帧进行回环优化。
其中，回环优化包括回环检测处理和优化处理。
回环检测处理用于检测场景关键帧序列中与先验基准帧存在关联的场景关键帧，其中，先验基准帧在关键帧序列中的采集顺序，先于与先验基准帧存在关联的场景关键帧的采集顺序，即该先验基准帧为与该先验基准帧存在关联的场景关键帧的历史帧。
需要说明的是，在场景关键帧采集过程中，当前采集得到的场景关键帧的初始位姿由上一场景关键帧解算得到，因此，随着路径的不断延伸，逐帧采集得到的场景关键帧存在累计误差。例如，由于当前场景关键帧的位姿约束都是与上一场景关键帧建立的，则第五帧的场景关键帧的位姿误差中便已经积累了前面四个约束中的误差。
而回环检测处理则是使场景关键帧除了和上一场景关键帧建立位姿约束之外，还和前序场景关键帧中更加靠前的场景关键帧建立位姿约束，以通过减少约束数，起到了减小累积误差的作用。
在检测到与先验基准帧存在关联的场景关键帧后，利用先验基准帧的基准位姿对场景关键帧序列中的场景关键帧进行优化处理。例如，根据先验基准帧的基准位姿，对场景关键帧序列中的部分场景关键帧或全部场景关键帧进行重定位处理。
步骤S240：利用回环优化后的场景关键帧序列构建目标地图。
示例性地，利用回环优化后的场景关键帧序列构建后验地图，融合后验地图和先验地图，得到目标地图。
根据回环优化后的场景关键帧序列构建后验地图，再融合后验地图和先验地图，得到目标地图。例如，提取后验地图中的融合基准点以及取先验地图中的融合基准点，根据后验地图和先验地图中的融合基准点进行地图配准和融合，在保证地图构建的准确性的前提下，还使得到的目标地图中含有预构建场景的实时空间分布信息。
在采集得到场景关键帧时，可移动机器人或者该可移动机器人对应的服务器可以得到该场景关键帧对应的初始位姿，但是由于环境变化、可移动机器人的检测误差等原因，导致场景关键帧对应的初始位姿存在误差。而由于根据场景关键帧序列构建的后验地图的误差分布与先验地图的误差分布不一致，导致同一物体在先验地图和后验地图中的位姿不一样的情况，影响先验地图和后验地图的融合使用。
而本申请由于预先根据先验地图对场景关键帧序列中的先验基准帧进行匹配，从而对先验基准帧进行重定位，得到先验基准帧相对先验地图的基准位姿，使得该先验基准帧的误差分布与先验地图的误差分布相近，进而在根据先验基准帧的基准位姿对场景关键帧序列进行优化后，可以使得优化后的场景关键帧序列的误差分布也与先验地图的误差分布相近，避免先验地图和后验地图融合出现重影，提高后验地图的可使用性。
接下来，对本申请的步骤进行进一步详细说明：
在一些实施方式中，请参阅图3，步骤S220中对先验基准帧和先验地图进行匹配，根据匹配结果得到先验基准帧相对先验地图的基准位姿，包括：
步骤S221：获取先验基准帧对应的初始位姿。
场景关键帧序列中的每一场景关键帧均含有初始位姿，该初始位姿为前端匹配时测量得到的场景关键帧的位姿，位姿包含位置和姿态两部分的信息。其中，姿态可以为可移动机器人的角度信息，位置可以为可移动机器人在基准坐标系中的平移向量来表示。
可以理解的是，初始位姿是指可移动机器人观测到的场景关键帧的观测量。
示例性地，若先验基准帧为可移动机器人首个采集到的场景关键帧，则可以是可移动机器人根据先验基准帧中扫描到的信标与可移动机器人之间的位姿关系，得到先验基准帧的初始位姿；若先验基准帧不为可移动机器人首个采集到的场景关键帧，则可以是获取先验基准帧对应的上一场景关键帧，根据上一场景关键帧的初始位姿得到先验基准帧的初始位姿。
步骤S222：基于先验基准帧对应的初始位姿，从先验地图中确定候选匹配区域。
如前文所述，先验基准帧对应的初始位姿含有位置和姿态两部分的信息，则可以根据先验基准帧对应的初始位姿得到先验基准帧对应的位置坐标和角度区间，根据该位置坐标和角度区间从先验地图中确定候选匹配区域。
例如，将先验基准帧对应的位置坐标代入至先验地图对应的坐标系中，得到先验基准帧在先验地图中的参考点，并将参考点的预设半径阈值的范围划分为参考坐标范围；以及，按照预设角度阈值对先验基准帧对应的角度区间进行区间扩展，得到参考角度范围。根据参考坐标范围和参考角度范围从先验地图中确定候选匹配区域。
步骤S223：对先验基准帧和候选匹配区域进行特征比对，得到先验基准帧相对先验地图的基准位姿。
提取先验基准帧的特征信息，以及提取候选匹配区域的特征信息，将两者之间的特征信息进行对比，得到先验基准帧相对先验地图的基准位姿。
示例性地，对先验基准帧的特征信息和候选匹配区域的特征信息进行相似度计算，将候选匹配区域内相似度最高的区域作为先验基准帧对应的目标区域，根据该目标区域对应的坐标和角度，得到先验基准帧的基准位姿。
根据先验地图对先验基准帧进行重定位得到基准位姿后，根据该先验基准帧的基准位姿对场景关键帧序列中的场景关键帧进行回环优化。
在一些实施方式中，请参阅图4，步骤S230中基于先验基准帧的基准位姿，对场景关键帧序列中的场景关键帧进行回环优化，包括：
步骤S231：检测场景关键帧序列中与先验基准帧匹配的场景关键帧，得到目标回环帧。
请参阅图5，图5为本申请一示例性实施例示出的场景关键帧序列示意图，如图5所示，将场景关键帧序列表示为顶点和边，其中，顶点表征场景关键帧的位姿，边表征两个相邻场景关键帧之间的位姿变换关系。如图5所示，顶点V1为先验基准帧，V1对应的位姿为相对先验地图的基准位姿；顶点V2至V7为场景关键帧，V2至V7对应的位姿为未经过回环优化的初始位姿。
其中，每个场景关键帧对应有采集时间，相邻场景关键帧是指采集时间间隔小于预设相邻间隔阈值的场景关键帧。
可以是场景关键帧序列中每增加一个场景关键帧，则将新增的场景关键帧和先验基准帧进行匹配，若匹配成功，则将该场景关键帧作为目标回环帧。
可选地，为先验基准帧划分用于回环检测的场景关键帧的选择范围。例如，计算新增场景关键帧的采集时间与先验基准帧的采集时间之间的时间间隔，将时间间隔大于预设选择间隔阈值的新增场景关键帧作为预匹配的场景关键帧；又例如，计算新增场景关键帧的初始位姿与先验基准帧的基准位姿之间的位姿变化量，将位姿变化量大于预设变化阈值的新增场景关键帧作为预匹配的场景关键帧。
示例性地，获取场景关键帧序列中的新增关键帧；计算先验基准帧与新增关键帧之间的相似度，得到第一相似度；若第一相似度大于相似度阈值，则将新增关键帧作为与先验基准帧匹配的目标回环帧。
其中，新增关键帧处于回环检测选择范围。
例如，如图5所示，当前新增的场景关键帧为V7，V7的采集时间与先验基准帧V1的采集时间之间的时间间隔大于预设选择间隔阈值，则计算V1与V7之间的相似度。
可以采用词袋模型 (Distributed Bag of Words version，DBoW) 、局部聚集描述子向量模型 (Net Vector of Locally Aggregated Descriptors，Netvlad) 等对新增关键帧和先验基准帧之间的相似度，得到第一相似度。
如果第一相似度大于相似度阈值，则将新增关键帧作为与先验基准帧匹配的目标回环帧。
步骤S232：基于先验基准帧的基准位姿和目标回环帧对应的初始位姿，计算先验基准帧和目标回环帧之间的位姿变换关系，得到先验位姿变换关系。
将先验基准帧和该先验基准帧匹配的目标回环帧，认为是在同一位置采集的关键帧，假设先验基准帧的基准位姿为T1，目标回环帧的位姿为T2，若没有累计误差的存在，则T1和T2应为相同的位姿矩阵。但是由于可移动机器人在移动过程中采集的每一个关键帧的位姿都会存在误差，因此实际上T1和T2是不同的位姿矩阵，T1和T2会存在相对的位姿变换关系。
通过先验基准帧的基准位姿T1对目标回环帧的初始位姿T2进行重定位，获取T1和T2之间的位姿变换关系。
将先验基准帧和目标回环帧之间的位姿变换关系，作为先验位姿变换关系。
步骤S233：利用先验位姿变换关系，对各个场景关键帧的初始位姿进行回环优化。
根据先验位姿变换关系，确定各个场景关键帧之间的位姿约束关系，基于该位姿约束关系通过公式对各个场景关键帧进行位姿优化。
示例性地，可以采用以下公式对场景关键帧序列中的场景关键帧进行回环优化：
其中，是指第k个场景关键帧的位姿/>与初始位姿之间的差值，/>是指第k个场景关键帧的位姿的协方差矩阵的逆。
以最小化为目标，使得到的位姿与初始位姿的差值最小，所有场景关键帧位姿的误差最小。
在一些实施方式中，除了可以将先验基准帧作为回环检测的历史帧之外，还可以将其它场景关键帧作为回环检测的历史帧。
示例性地，检测到场景关键帧序列存在新增关键帧后，若新增关键帧处于先验基准帧对应的回环检测选择范围，则计算先验基准帧与新增关键帧之间的相似度，得到第一相似度，若第一相似度大于相似度阈值，则基于先验基准帧对场景关键帧序列进行回环优化；若第一相似度不大于相似度阈值，则获取场景关键帧序列中新增关键帧对应的候选回环帧；计算新增关键帧与各个候选回环帧之间的相似度，得到第二相似度；将第二相似度大于相似度阈值的候选回环帧，作为新增关键帧对应的后验基准帧；利用后验基准帧，对场景关键帧序列中的场景关键帧进行回环优化。
为新增关键帧划分用于回环检测的场景关键帧的选择范围，将处于新增关键帧对应的回环检测选择范围内的场景关键帧，作为新增关键帧对应的候选回环帧。
然后，计算新增关键帧与各个候选回环帧之间的相似度，得到第二相似度，以将第二相似度大于相似度阈值的候选回环帧作为后验基准帧，根据后验基准帧，对场景关键帧序列中的场景关键帧进行回环优化。
即本申请中进行回环优化参考得历史帧可以为先验基准帧，也可以为普通的场景关键帧。但是，当先验地图不能完全覆盖预构建场景时，则不处于先验地图覆盖区域内的场景中，不能基于后验地图对关键帧进行重定位，即新增关键帧只能与普通的场景关键帧进行回环检测。而在预构建场景中可移动机器人跨越先验地图覆盖区域和先验地图非覆盖区域时，部分场景关键帧即会与先验基准帧构建回环约束，又会与普通的场景关键帧构建回环约束，若两个约束之间存在矛盾时，则会降低回环优化的效果。
例如，请参阅图6，图6为本申请一示例性实施例示出的约束存在矛盾的示意图，如图6所示，顶点拥有A、B两个回环约束，A约束驱使顶点向左移动，B约束驱使顶点向右移动，在经过全局优化之后，顶点的位置基本不会发生改变。
因此，为了解决上述问题，将场景关键帧序列中的场景关键帧划分为先验优化关键帧和后验优化关键帧；以及，基于新增关键帧对应的初始位姿和后验基准帧对应的初始位姿，计算新增关键帧和后验基准帧之间的位姿变换关系，得到后验位姿变换关系；利用后验位姿变换关系，对场景关键帧序列中的后验优化关键帧的初始位姿进行回环优化。
其中，先验优化关键帧是指根据先验基准帧进行回环优化后的场景关键帧，后验优化关键帧是指未根据先验基准帧进行回环优化的场景关键帧。
可以理解的是，由于本申请需要将后续构建的后验地图的误差分布与先验地图的误差分布一致化，因此，根据先验基准帧进行回环优化操作的优先级，高于根据后验基准帧进行回环优化操作的优先级。
示例性地，场景关键帧在与先验基准帧回环检测成功并完成优化后，可以将优化后的所有相关场景关键帧的位姿进行固定，使其不再进入后期的优化。
例如，请参阅图7，图7为本申请一示例性实施例示出的回环优化的示意图，如图7所示，预构建场景包括被先验地图覆盖的场景区域1，以及不被先验地图覆盖的场景区域2。
在第一时间段内，可移动机器人于场景区域1内采集到场景关键帧V1至V5，其中，V1为先验基准帧，该先验基准帧根据先验地图进行重定位，得到先验基准帧相对先验地图的基准位姿。然后，检测到V5与V1的相似度大于相似度阈值，则回环检测成功，根据建立V5与V1之间的回环约束E15，以根据回环约束E1-5对场景关键帧V2至V5分别进行位姿优化，并对优化后的位姿进行固定。
进一步地，可移动机器人进入场景区域2，并在第二时间段内，可移动机器人于场景区域2内采集到场景关键帧V6至V12，且针对V12进行回环检测，得到与V12匹配的场景关键帧为V4，建立V12与V4之间的回环约束E4-12。此时场景关键帧序列含有场景关键帧V1至V12，而其中场景关键帧V2至V5为根据先验基准帧进行回环优化后的场景关键帧，因此V2至V5属于先验优化关键帧，而V6至V12属于后验优化关键帧。所以在根据回环约束E4-12对场景关键帧序列进行优化时，仅对V6至V12进行位姿优化。
通过上述方式，既可以保证先验地图和后验地图两者共同区域不出现重影，还可以保证两者非共同区域的建图精度。
在一些实施方式中，地图构建方法包括：获取预构建场景对应的先验地图，以及获取当前采集的预构建场景的场景关键帧序列；场景关键帧序列中含有至少一个先验基准帧；响应与场景关键帧序列的帧新增事件，得到新增关键帧；从场景关键帧序列中选择出处于新增关键帧的回环检测选择范围内的场景关键帧，得到该新增关键帧对应的目标回环帧；若目标回环帧属于先验基准帧，则获取该先验基准帧相对先验地图的基准位姿，该基准位姿是通过对先验基准帧和先验地图进行匹配得到的；基于先验基准帧的基准位姿，对场景关键帧序列中的场景关键帧进行回环优化；若目标回环帧不属于先验基准帧，则将该目标回环帧作为后验基准帧，根据后验基准帧的位姿，对场景关键帧序列中的场景关键帧进行回环优化；利用回环优化后的场景关键帧序列构建目标地图。
本申请提供的地图构建方法，通过获取预构建场景对应的先验地图，以及获取当前采集的预构建场景的场景关键帧序列；场景关键帧序列中含有至少一个先验基准帧；对先验基准帧和先验地图进行匹配，根据匹配结果得到先验基准帧相对先验地图的基准位姿，使得该先验基准帧的误差分布与先验地图的误差分布相近；然后，基于先验基准帧的基准位姿，对场景关键帧序列中的场景关键帧进行回环优化；利用回环优化后的场景关键帧序列构建目标地图，可以使得优化后的场景关键帧序列的误差分布也与先验地图的误差分布相近，进而提高根据场景关键帧序列构建实时地图的准确性。
图8是本申请的一示例性实施例示出的地图构建装置的框图。如图8所示，该示例性的地图构建装置800包括：获取模块810、匹配模块820、优化模块830和地图构建模块840。具体地：
获取模块810，用于获取预构建场景对应的先验地图，以及获取当前采集的预构建场景的场景关键帧序列；场景关键帧序列中含有至少一个先验基准帧；
匹配模块820，用于对先验基准帧和先验地图进行匹配，根据匹配结果得到先验基准帧相对先验地图的基准位姿；
优化模块830，用于基于先验基准帧的基准位姿，对场景关键帧序列中的场景关键帧进行回环优化；
地图构建模块840，用于利用回环优化后的场景关键帧序列构建目标地图。
在上述示例性的地图构建装置中，由于预先根据先验地图对场景关键帧序列中的先验基准帧进行匹配，从而对先验基准帧进行重定位，得到先验基准帧相对先验地图的基准位姿，使得该先验基准帧的误差分布与先验地图的误差分布相近，进而在根据先验基准帧的基准位姿对场景关键帧序列进行优化后，可以使得优化后的场景关键帧序列的误差分布也与先验地图的误差分布相近，提高根据场景关键帧序列构建实时地图的准确性。
其中，各个模块的功能可参见地图构建方法实施例所述，此处不再赘述。
请参阅图9，图9是本申请电子设备一实施例的结构示意图。电子设备900包括存储器901和处理器902，处理器902用于执行存储器901中存储的程序指令，以实现上述任一地图构建方法实施例中的步骤。在一个具体的实施场景中，电子设备900可以包括但不限于：微型计算机、服务器，此外，电子设备900还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。
具体而言，处理器902用于控制其自身以及存储器901以实现上述任一地图构建方法实施例中的步骤。处理器902还可以称为中央处理单元（Central Processing Unit，CPU）。处理器902可能是一种集成电路芯片，具有信号的处理能力。处理器902还可以是通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（ApplicationSpecific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable GateArray，FPGA）或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器902可以由集成电路芯片共同实现。
请参阅图10，图10是本申请计算机可读存储介质一实施例的结构示意图。计算机可读存储介质1000存储有能够被处理器运行的程序指令1010，程序指令1010用于实现上述任一地图构建方法实施例中的步骤。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (10)
1.一种地图构建方法，其特征在于，所述方法包括：
获取预构建场景对应的先验地图，以及获取当前采集的所述预构建场景的场景关键帧序列；所述场景关键帧序列中含有至少一个先验基准帧；
对所述先验基准帧和所述先验地图进行匹配，根据匹配结果得到所述先验基准帧在所述先验地图中的基准位姿，所述匹配结果为所述先验地图中与所述先验基准帧的特征的相似度最高的区域；
基于所述先验基准帧的基准位姿以及与所述先验基准帧匹配的场景关键帧的初始位姿之间的位姿变换关系，对所述场景关键帧序列中的场景关键帧进行回环优化；
利用回环优化后的场景关键帧序列构建目标地图。
2.根据权利要求1所述的方法，其特征在于，所述场景关键帧序列中的每个场景关键帧对应有初始位姿；所述基于所述先验基准帧的基准位姿以及与所述先验基准帧匹配的场景关键帧的初始位姿之间的位姿变换关系，对所述场景关键帧序列中的场景关键帧进行回环优化，包括：
检测所述场景关键帧序列中与所述先验基准帧匹配的场景关键帧，得到目标回环帧；
基于所述先验基准帧的基准位姿和所述目标回环帧对应的初始位姿，计算所述先验基准帧和所述目标回环帧之间的位姿变换关系，得到先验位姿变换关系；
利用所述先验位姿变换关系，对各个场景关键帧的初始位姿进行回环优化。
3.根据权利要求2所述的方法，其特征在于，所述检测所述场景关键帧序列中与所述先验基准帧匹配的场景关键帧，得到目标回环帧，包括：
获取所述场景关键帧序列中的新增关键帧；
计算所述先验基准帧与所述新增关键帧之间的相似度，得到第一相似度；
若所述第一相似度大于相似度阈值，则将所述新增关键帧作为与所述先验基准帧匹配的目标回环帧。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
若所述第一相似度不大于相似度阈值，则获取所述场景关键帧序列中所述新增关键帧对应的候选回环帧；
计算所述新增关键帧与各个候选回环帧之间的相似度，得到第二相似度；
将第二相似度大于相似度阈值的候选回环帧，作为所述新增关键帧对应的后验基准帧；
利用所述后验基准帧，对所述场景关键帧序列中的场景关键帧进行回环优化。
5.根据权利要求4所述的方法，其特征在于，所述利用所述后验基准帧，对所述场景关键帧序列中的场景关键帧进行回环优化，包括：
将所述场景关键帧序列中的场景关键帧划分为先验优化关键帧和后验优化关键帧；其中，所述先验优化关键帧是指根据先验基准帧进行回环优化后的场景关键帧，所述后验优化关键帧是指未根据先验基准帧进行回环优化的场景关键帧；以及，
基于所述新增关键帧对应的初始位姿和所述后验基准帧对应的初始位姿，计算所述新增关键帧和所述后验基准帧之间的位姿变换关系，得到后验位姿变换关系；
利用所述后验位姿变换关系，对所述场景关键帧序列中的后验优化关键帧的初始位姿进行回环优化。
6.根据权利要求1所述的方法，其特征在于，所述对所述先验基准帧和所述先验地图进行匹配，根据匹配结果得到所述先验基准帧在所述先验地图中的基准位姿，包括：
获取所述先验基准帧对应的初始位姿；
基于所述先验基准帧对应的初始位姿，从所述先验地图中确定候选匹配区域；
对所述先验基准帧和所述候选匹配区域进行特征比对，得到所述先验基准帧在所述先验地图中的基准位姿。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述利用回环优化后的场景关键帧序列构建目标地图，包括：
利用回环优化后的场景关键帧序列构建后验地图；
融合所述后验地图和所述先验地图，得到目标地图。
8.一种地图构建装置，其特征在于，包括：
获取模块，用于获取预构建场景对应的先验地图，以及获取当前采集的所述预构建场景的场景关键帧序列；所述场景关键帧序列中含有至少一个先验基准帧；
匹配模块，用于对所述先验基准帧和所述先验地图进行匹配，根据匹配结果得到所述先验基准帧在所述先验地图中的基准位姿，所述匹配结果为所述先验地图中与所述先验基准帧的特征的相似度最高的区域；
优化模块，用于基于所述先验基准帧的基准位姿以及与所述先验基准帧匹配的场景关键帧的初始位姿之间的位姿变换关系，对所述场景关键帧序列中的场景关键帧进行回环优化；
地图构建模块，用于利用回环优化后的场景关键帧序列构建目标地图。
9.一种电子设备，其特征在于，包括存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310825350.0A CN116539026B (zh) | 2023-07-06 | 2023-07-06 | 地图构建方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310825350.0A CN116539026B (zh) | 2023-07-06 | 2023-07-06 | 地图构建方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116539026A CN116539026A (zh) | 2023-08-04 |
| CN116539026B true CN116539026B (zh) | 2023-09-29 |
Family
ID=87447537
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310825350.0A Active CN116539026B (zh) | 2023-07-06 | 2023-07-06 | 地图构建方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116539026B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109974721A (zh) * | 2019-01-08 | 2019-07-05 | 武汉中海庭数据技术有限公司 | 一种基于高精度地图的视觉回环检测方法和装置 |
| CN113551666A (zh) * | 2021-07-06 | 2021-10-26 | 杭州鸿泉物联网技术股份有限公司 | 自动驾驶多传感器融合定位方法和装置、设备及介质 |
| WO2022016320A1 (zh) * | 2020-07-20 | 2022-01-27 | 深圳元戎启行科技有限公司 | 地图更新方法、装置、计算机设备和存储介质 |
| WO2022041596A1 (zh) * | 2020-08-31 | 2022-03-03 | 同济人工智能研究院(苏州)有限公司 | 一种适用于室内动态环境的视觉slam方法 |
| CN114279434A (zh) * | 2021-12-27 | 2022-04-05 | 驭势科技（北京）有限公司 | 一种建图方法、装置、电子设备和存储介质 |
| CN114924287A (zh) * | 2022-04-21 | 2022-08-19 | 深圳市正浩创新科技股份有限公司 | 地图构建方法、设备与介质 |
| CN115131420A (zh) * | 2022-06-24 | 2022-09-30 | 武汉依迅北斗时空技术股份有限公司 | 基于关键帧优化的视觉slam方法及装置 |
| CN115326051A (zh) * | 2022-08-03 | 2022-11-11 | 广州高新兴机器人有限公司 | 一种基于动态场景的定位方法、装置、机器人及介质 |
| WO2022257801A1 (zh) * | 2021-06-09 | 2022-12-15 | 山东大学 | 基于slam的移动机器人矿山场景重建方法及系统 |
| CN115494845A (zh) * | 2022-09-27 | 2022-12-20 | 深圳市智莱科技股份有限公司 | 基于深度相机的导航方法、装置、无人车及存储介质 |
| CN115512124A (zh) * | 2022-10-20 | 2022-12-23 | 亿咖通(湖北)技术有限公司 | 一种重定位帧的确定方法、装置、车辆及存储介质 |
| CN115731273A (zh) * | 2022-11-29 | 2023-03-03 | 北京百度网讯科技有限公司 | 位姿图优化方法及装置、电子设备和存储介质 |
-
2023
- 2023-07-06 CN CN202310825350.0A patent/CN116539026B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109974721A (zh) * | 2019-01-08 | 2019-07-05 | 武汉中海庭数据技术有限公司 | 一种基于高精度地图的视觉回环检测方法和装置 |
| WO2022016320A1 (zh) * | 2020-07-20 | 2022-01-27 | 深圳元戎启行科技有限公司 | 地图更新方法、装置、计算机设备和存储介质 |
| WO2022041596A1 (zh) * | 2020-08-31 | 2022-03-03 | 同济人工智能研究院(苏州)有限公司 | 一种适用于室内动态环境的视觉slam方法 |
| WO2022257801A1 (zh) * | 2021-06-09 | 2022-12-15 | 山东大学 | 基于slam的移动机器人矿山场景重建方法及系统 |
| CN113551666A (zh) * | 2021-07-06 | 2021-10-26 | 杭州鸿泉物联网技术股份有限公司 | 自动驾驶多传感器融合定位方法和装置、设备及介质 |
| CN114279434A (zh) * | 2021-12-27 | 2022-04-05 | 驭势科技（北京）有限公司 | 一种建图方法、装置、电子设备和存储介质 |
| CN114924287A (zh) * | 2022-04-21 | 2022-08-19 | 深圳市正浩创新科技股份有限公司 | 地图构建方法、设备与介质 |
| CN115131420A (zh) * | 2022-06-24 | 2022-09-30 | 武汉依迅北斗时空技术股份有限公司 | 基于关键帧优化的视觉slam方法及装置 |
| CN115326051A (zh) * | 2022-08-03 | 2022-11-11 | 广州高新兴机器人有限公司 | 一种基于动态场景的定位方法、装置、机器人及介质 |
| CN115494845A (zh) * | 2022-09-27 | 2022-12-20 | 深圳市智莱科技股份有限公司 | 基于深度相机的导航方法、装置、无人车及存储介质 |
| CN115512124A (zh) * | 2022-10-20 | 2022-12-23 | 亿咖通(湖北)技术有限公司 | 一种重定位帧的确定方法、装置、车辆及存储介质 |
| CN115731273A (zh) * | 2022-11-29 | 2023-03-03 | 北京百度网讯科技有限公司 | 位姿图优化方法及装置、电子设备和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 基于前后端图优化的RGB-D三维SLAM;邢科新;竺海光;林叶贵;张雪波;;浙江工业大学学报(第06期);全文 * |
| 复杂场景下视觉先验信息的地图恢复SLAM;刘盛;张宇翔;徐婧婷;邹大方;陈胜勇;王振华;;中国图象图形学报(第01期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116539026A (zh) | 2023-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111462200B (zh) | 一种跨视频行人定位追踪方法、系统及设备 | |
| JP3576987B2 (ja) | 画像のテンプレートマッチング方法及び画像処理装置 | |
| CN109974721A (zh) | 一种基于高精度地图的视觉回环检测方法和装置 | |
| CN111523545B (zh) | 一种结合深度信息的物品查找方法 | |
| CN108198172B (zh) | 图像显著性检测方法和装置 | |
| CN111461209A (zh) | 一种模型训练装置和方法 | |
| CN115423846A (zh) | 多目标轨迹跟踪方法以及装置 | |
| CN115376109B (zh) | 障碍物检测方法、障碍物检测装置以及存储介质 | |
| CN114913386A (zh) | 一种多目标跟踪模型的训练方法以及多目标跟踪方法 | |
| CN115063454A (zh) | 多目标跟踪匹配方法、装置、终端及存储介质 | |
| CN113052907A (zh) | 一种动态环境移动机器人的定位方法 | |
| CN115375870A (zh) | 回环检测优化方法、电子设备及计算机可读存储装置 | |
| CN111368860B (zh) | 重定位方法及终端设备 | |
| CN114663598A (zh) | 三维建模方法、装置和存储介质 | |
| WO2022099620A1 (zh) | 三维点云分割方法和装置、可移动平台 | |
| CN116539026B (zh) | 地图构建方法、装置、设备及存储介质 | |
| CN114710228B (zh) | 一种时间的同步方法、装置、存储介质及电子装置 | |
| US6483949B1 (en) | Image processing apparatus and method, and medium therefor | |
| WO2022252482A1 (zh) | 机器人及其环境地图构建方法和装置 | |
| CN114782496A (zh) | 一种对象的跟踪方法、装置、存储介质及电子装置 | |
| CN112561956B (zh) | 视频目标跟踪方法、装置、电子设备及存储介质 | |
| CN109788431B (zh) | 一种基于相邻节点组的蓝牙定位方法、装置、设备和系统 | |
| CN113570713A (zh) | 一种面向动态环境的语义地图构建方法及装置 | |
| CN113625249A (zh) | 反光板定位方法、机器人及计算机可读存储介质 | |
| CN109816709B (zh) | 基于单目摄像头的深度估计方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |