CN113537171B - 一种slam地图的划分方法 - Google Patents

一种slam地图的划分方法 Download PDF

Info

Publication number
CN113537171B
CN113537171B CN202111083828.4A CN202111083828A CN113537171B CN 113537171 B CN113537171 B CN 113537171B CN 202111083828 A CN202111083828 A CN 202111083828A CN 113537171 B CN113537171 B CN 113537171B
Authority
CN
China
Prior art keywords
key frame
map
key
current
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111083828.4A
Other languages
English (en)
Other versions
CN113537171A (zh
Inventor
李一龙
范圣印
刘志励
王璀
张煜东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yihang Yuanzhi Technology Co Ltd
Original Assignee
Beijing Yihang Yuanzhi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yihang Yuanzhi Technology Co Ltd filed Critical Beijing Yihang Yuanzhi Technology Co Ltd
Priority to CN202111083828.4A priority Critical patent/CN113537171B/zh
Publication of CN113537171A publication Critical patent/CN113537171A/zh
Application granted granted Critical
Publication of CN113537171B publication Critical patent/CN113537171B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种SLAM地图的划分方法，属于自动驾驶、自动机器人技术领域。该方法包括以下步骤：1）向地图划分系统输入数据并初始化；2）设计关键帧集合的划分方案：根据当前规划轨迹对应的空间顺序，设定每个子地图关键帧到达容量上限前的一定区域为筛选区域，判断该筛选区域中的各个位置是否容易定位，将容易重定位且低风险的关键帧作为切分关键帧,该切分关键帧用于进行地图的切分；3）依照划分关键帧生成当前规划轨迹对应的地图集。本发明能够在保证子地图满足内存要求的前提下，选取重定位概率高、风险低的位置进行地图切换，降低在地图切换时因计算平台的计算、内存资源有限引起的定位丢失风险，提高系统的稳定性。

Description

一种SLAM地图的划分方法
技术领域
本发明涉及自动驾驶、自动机器人技术领域，尤其涉及一种SLAM地图的划分方法。
背景技术
近年来，应用SLAM地图做定位，被广泛的应用到自动驾驶、自动机器人等领域中，用来解决在未知场景中自身的定位与建图的问题。基于视觉特征的SLAM系统有着传感器简单、获取信息丰富、性价比高的优势，取得的广泛的应用。
SLAM建图完成以后，当应用该地图、将其加载到低功耗的嵌入式平台上执行时，存在一些问题。地图文件大、内存占用高，直接影响在嵌入式平台上的使用。因此，在定位功能执行的过程中，仅加载当前临近位置的地图作为定位地图、而不需要将地图文件全部加载进入内存，有助于资源的合理分配。
现有技术加载临近位置的地图的方法是，单个地图分裂成多个子地图，根据预设上限限制子地图大小，当该区域加载的子地图超过这个上限时，则开始建立新的子地图。如专利号为CN101996420A的专利中，当地图中子地图尺寸空间区域达到预定尺寸时，构建新的子地图；专利号为CN111795687A的专利中，当获取到的帧数据与该图的起始帧数据之间的距离足够大时，构建新的子地图。
现有技术仅从预设上限方面限制子地图大小，这就存在一个问题，由于没能从切换区的关键帧、地图点是否利于重定位的特征上考虑切换时机，当从上一张图切换到下一张图时，如果切换区出现意外、导致定位丢失时，则需要车辆在切换区立刻重定位。当切换点的关键帧、地图点的特征不利于重定位时，就会出现长时间丢失定位的情况。
发明内容
本发明针对现有技术的不足，提出一种SLAM地图的加载划分方法，目的在于解决现有技术仅从预设上限限制子地图大小，当预设上限所对应的切换点的关键帧、地图点的特征不利于重定位时，就会出现长时间丢失定位的问题。
本发明为解决其技术问题采用以下技术方案：
一种SLAM地图的划分方法，其特征在于：包括以下步骤：
步骤一、向地图划分系统输入数据并初始化:
所述输入数据包括视觉地图元素、规划轨迹、系统内存分配的约束；所述视觉地图元素包括关键帧、地图点以及关键帧与地图点的关联关系；所述规划轨迹用于地图划分系统对轨迹所属地图进行子地图的划分；所述系统内存分配的约束包括：获取当前车辆用于加载SLAM地图的容量上限，根据该容量上限再计算每个子地图关键帧的容量上限；
步骤二、设计关键帧集合
Figure 48413DEST_PATH_IMAGE001
的划分方案
Figure 998176DEST_PATH_IMAGE002
：
根据当前规划轨迹对应的空间顺序，设定每个子地图关键帧到达容量上限前的一定区域为筛选区域，判断该筛选区域中的各个位置是否容易定位，将容易重定位且风险低的的关键帧作为切分关键帧,该切分关键帧用于进行地图的切分；
步骤三、依照划分关键帧生成当前规划轨迹对应的地图集。
述步骤二的判断该筛选区域中的各个位置是否容易定位、将容易重定位的关键帧作为切分关键帧,该切分关键帧用于进行地图的切分,具体过程如下：
1）按照规划轨迹的时间顺序，将与当前轨迹点物理位置最近的地图中关键帧
Figure 433706DEST_PATH_IMAGE003
放 入到临时关键帧集合
Figure 110806DEST_PATH_IMAGE004
中，直到临时关键帧集合
Figure 367256DEST_PATH_IMAGE004
中元素的数量达到
Figure 2767DEST_PATH_IMAGE005
；当关键 帧集合
Figure 4221DEST_PATH_IMAGE001
为空，则完成搜索，退出；
2）在所述筛选区域中查找风险响应函数
Figure 219433DEST_PATH_IMAGE006
低于阈值且具有最高等级的关键帧；
3）如果查找不到满足条件的关键帧 ，转至步骤4）；否则转至步骤5）；
4）降低查找范围，转到步骤2）；所述降低查找范围就是将筛选区前移，即改变了筛选区
5）如果获得多个满足条件的关键帧，选择风险响应函数
Figure 779990DEST_PATH_IMAGE006
低于阈值且具有最高 等级的关键帧
Figure 897987DEST_PATH_IMAGE003
作为划分关键帧，将划分关键帧以后的关键帧从临时关键帧集合
Figure 301853DEST_PATH_IMAGE004
中移 除，然后将临时关键帧集合
Figure 429078DEST_PATH_IMAGE004
中的关键帧从关键帧集合
Figure 578562DEST_PATH_IMAGE001
中移除，最后将临时关键帧集 合
Figure 539564DEST_PATH_IMAGE004
作为关键帧集合的划分方案中的一个关键帧集合
Figure 672868DEST_PATH_IMAGE007
输出，转到步骤1）；
所述当前轨迹点具有时间戳和物理位置,通过每个轨迹点的物理位置和地图中每 个相应位置的关键帧进行关联; 所述临时关键帧集合
Figure 338204DEST_PATH_IMAGE004
中元素的数量达到
Figure 529145DEST_PATH_IMAGE005
，该
Figure 490410DEST_PATH_IMAGE005
就是每个子地图关键帧到达容量上限。
所述过程2)的风险响应函数是根据主观需求设置的风险函数, 所述主观需求设置的风险函数包含人为设定的规划轨迹上其他区域，如人多、车多等不想在使用过程中切图的情况。
所述过程2)的最高等级的关键帧是根据容易重定位的客观需求确认的关键帧，该容易重定位的关键帧是采用关键帧质量评估特征、以及采用机器学习的方法获得的，具体过程如下：
1）对筛选区域每个关键帧邻近区域的特征进行归纳；
2）采用机器学习的方法，对筛选区域关键帧的易重定位属性进行判别；
所述过程1）的对关键帧临近区域的特征进行归纳，具体过程如下：
Figure 609545DEST_PATH_IMAGE008
、 设定当前关键帧附近区域的定位属性，该定位属性包括当前关键帧附近区域 的关键帧属性、当前关键帧附近区域的地图点属性、当前关键帧附近区域的关键帧与地图 点的可视关系属性；
Figure 580037DEST_PATH_IMAGE009
、设定当前关键帧附近区域的关键帧的质量评估特征，该特征表示为：
Figure 202649DEST_PATH_IMAGE010
；
所述当前关键帧附近区域的关键帧属性包括但不限于：当前关键帧的共视关键帧 与当前关键帧相对距离的统计分布
Figure 741340DEST_PATH_IMAGE011
；当前关键帧的共视关键帧与当前关键帧相对角 度的统计分布
Figure 347770DEST_PATH_IMAGE012
；当前关键帧的可视地图点与当前关键帧距离的统计分布
Figure 856374DEST_PATH_IMAGE013
；
所述当前关键帧附近区域的地图点属性包括但不限于：距离关键帧一定范围以内 的地图点到其近邻地图点距离的统计分布
Figure 599071DEST_PATH_IMAGE014
；距离关键帧一定范围以内的地图点 可视关键帧数量的统计分布
Figure 89090DEST_PATH_IMAGE015
；地图点到其可视关键帧距离的均值的统计分布
Figure 418702DEST_PATH_IMAGE016
；距离关键帧一定范围内地图点的主视范围内关键帧数量的统计分布
Figure 75205DEST_PATH_IMAGE017
；
所述当前关键帧附近区域的关键帧与地图点的可视关系包括但不限于：
1）关键帧的主视方向与每个关键帧、地图点连线方向的夹角的统计量
Figure 78933DEST_PATH_IMAGE018
， 如均值、方差等；
2）每个地图点的主视方向与关键帧、地图点连线方向的夹角的统计量
Figure 84060DEST_PATH_IMAGE019
， 如均值、方差等；
所述过程2）的采用机器学习的方法，对关键帧的易重定位属性进行判别，具体过程如下：
A、获取多个用于训练的图像数据、以及用于定位的地图数据，该多个用于训练的图像数据为应用于与定位地图数据同一路段的、在不同时间、不同光照下采集的图像数据；该用于定位的地图数据为与用于训练的图像数据同一路段的一个地图数据；
B、根据当前场景下的图像数据，在地图上进行关键帧标注，具体为：
1）找到局部地图中相对于当前一帧数据F具有最多共视地图点的关键帧作为参考关键帧KF(F);
2）获取当前一帧数据F与其参考关键帧KF(F)的共视点的数量L(F), 根据下式计算L(K)，L(K)越高，表示该帧的重定位能力越强；
Figure 665083DEST_PATH_IMAGE020
；
3) 对当关键帧K进行关键帧属性标注；
C、将关键帧属性及其标注输入给PC机或云端服务器训练模型；
D、PC机或云端服务器训练模型根据输入端的关键帧属性及其标注，输出关键帧质量判别模型；
E、将关键帧质量判别模型、以及任意关键帧质量评估特征发送给关键帧质量评估模块，关键帧质量评估模块对关键帧的易重定位属性进行判别；该训练后的关键帧质量判别模型不仅可以用于训练所使用的地图，还可以对同一场景的其他地图的关键帧进行易重定位属性判别。
所述步骤三的依照划分关键帧生成当前规划轨迹对应的地图集，该地图集中包含由两部分，索引文件以及多个子地图文件；索引文件包括关键帧的索引、关键帧所在子地图的索引、位姿信息、用于场景重识别的关键帧的特征向量；该位姿信息用于方便地图上定位状态的管控，如切图条件的判定；该用于场景重识别的关键帧特征向量，用于在当前情况未知的情况下，查找出候选关键帧，选择对应子地图进行加载。
所述生成当前规划轨迹对应的地图集，包括以下步骤：
步骤一、关键帧划分方案进行扩充：相邻两个地图的覆盖率为
Figure 370348DEST_PATH_IMAGE021
，子图数中 含有关键帧最大值为
Figure 244894DEST_PATH_IMAGE022
，那么每个关键帧集合需要分别向前、后扩充约
Figure 14398DEST_PATH_IMAGE023
个关键帧，由于划分的生成是基于规划轨迹的，因此关键帧集合
Figure 318603DEST_PATH_IMAGE024
是有 顺序的，关键帧集合扩充操作的处理方法如下：
1）使用关键帧集合
Figure 612181DEST_PATH_IMAGE024
初始化输出集合
Figure 951021DEST_PATH_IMAGE025
；
2）分别选择关键帧集合
Figure 530907DEST_PATH_IMAGE024
的前、后10%的关键帧集合，作为边界关键帧集合，进行 以下操作；
3）获取边界关键帧集合的临近关键帧集合，将该集合与输出集合的差集作为候选 关键帧集合
Figure 447041DEST_PATH_IMAGE026
，初始化计数器；
4）在候选关键帧集合中，选取与输出关键帧集合存在共视关键帧最多的关键帧， 加入到输出关键帧集合
Figure 904830DEST_PATH_IMAGE027
中，并在候选关键帧集合
Figure 596711DEST_PATH_IMAGE026
中将其移除，计数器加一；
5）重复执行步骤4，直到在候选帧集合
Figure 848963DEST_PATH_IMAGE026
中找不到满足条件的候选关键帧或计 数器超过
Figure 767240DEST_PATH_IMAGE023
的重叠率的限制；
步骤二、进行子地图的生成：子地图的构成与地图的构成相同，关键帧集合、与关键帧存在可视关系的地图点集合，以及关键帧与地图点的关联关系；
步骤三、索引文件的生成：依照生成的各个子地图中的数据，汇总生成索引文件。
本发明的优点效果
1、本发明给出一种SLAM地图中关键帧的评价方法，该方法通过对关键帧、地图点以及关联关系等特征进行描述，能够在不通过重定位的情况下，筛选出重定位概率较大的关键帧。
2、本发明给出一种SLAM地图的划分方法，该方法在选定切分位置时考虑到关键帧所处局部地图属性，在容易重定位的位置进行地图拆分，降低在系统进行地图加载、切换时，因系统内存、计算资源有限引起的定位丢失风险，提高系统冗余。
3、本发明通过对关键帧的特征进行归纳，使用学习的方法，对关键帧的易重定位属性进行判别，同时根据需求设置风险函数，在选取重定位概率高、风险低的关键帧作为划分关键帧，最后依照划分关键帧与规划轨迹生成地图集。使用本技术，能够在保证子地图满足内存要求的前提下，有限选取重定位概率高、风险低的位置进行地图切换，降低在地图切换时因计算平台的计算、内存资源有限引起的定位丢失风险，提高系统的稳定性。
附图说明
图1为本发明一种SLAM地图的划分方法流程图；
图2为本发明在筛选区域查找切分关键帧流程图；
图3为本发明对关键帧重定位属性进行判别流程图；
图4为关键帧看到的地图点、地图点看到的关键帧示意图；
图5为关键帧与地图点的可视关系示意图；
图6为本发明关键帧的质量评估示意图；
图7为本发明重叠区域设计示意图；
图中，Ka, Kb, Kc,为关键帧，L1、L2、L3、L4为地图点。
具体实施方式
本发明设计原理
1、本发明设计目标以及和现有技术的区别：现有技术加载子地图方法是设定一个上限，该上限就是自动行驶的车辆分配给加载地图的内存的容量，也就是每个子地图所对应的关键帧的容量。其划分子地图的方法就是：当子地图容量到达上限时就进行切割，当切割点发生意外、需要重新定位时，如果切割点地图关键帧不易于实现重定位就将导致定位丢失。本发明和现有技术的第一区别是：在到达切割上限之前的一定区域，设定一个用于切割地图的筛选区域，在筛选区域找到一个合适的位置再进行切割、而不是简单地只是满足到达设定上限的位置进行切割，所述合适位置就是找到一个用于切割的“划分关键帧”，以划分关键帧为界进行切割。这样就最大限度地保证了不因切割位置不恰当而发生地图切换时定位丢失、无法及时找回的情况；本发明和现有技术的第二区别是：最大限度地保证重叠区域的安全性，所述安全性就是易于重定位。因为上一张地图和下一张地图的重叠区域即为加载地图的区域，是将上一张地图的定位过渡到下一张地图的过渡区，为了保证安全性，要求重叠区域上一张地图和下一张地图的联系更加紧密，尽其所能保证定位能够顺利过渡到下一张地图。综上，本发明为子地图切换设置了两道安全锁，第一道安全锁是一旦发生定位丢失能够尽快的重定位，第二道安全锁是设法保证上一张地图到下一张地图的定位顺畅。
2、本发明的设计难点。难点之一是关键帧的质量评估。关键帧质量评估的难点之 一是找到关键帧质量评估的特征：SLAM地图结构可以用
Figure 28720DEST_PATH_IMAGE028
来表示，其中
Figure 309528DEST_PATH_IMAGE029
表示当 前轨迹上关键帧的集合，
Figure 122895DEST_PATH_IMAGE030
表示地图点的集合，
Figure 623408DEST_PATH_IMAGE031
表示关键帧与地图点的可视关系。难点在 于分析出：来自关键帧
Figure 187114DEST_PATH_IMAGE032
的哪些属性可以作为关键帧质量评估的特征；来自关键帧
Figure 230418DEST_PATH_IMAGE032
的可视 地图点
Figure 119746DEST_PATH_IMAGE033
的哪些属性可以作为关键帧质量评估的特征；来自于关键帧
Figure 232189DEST_PATH_IMAGE032
的关联关系
Figure 835471DEST_PATH_IMAGE034
的哪些属性可以作为关键帧质量评估的特征。关键帧质量评估的难点之二是找到一 种方法，能够客观的评价由关键帧代表的区域的重定位能力，进行关键帧易重定位能力的 标注，进而得到一个通用的模型，这个通用模型就是关键帧质量判别模型。视觉图像依赖于 外界环境，如早、中、晚、以及不同天气下拍摄的同一位置的图像清晰度不同，同一位置的重 定位表现也不尽相同。找到一种方法，能够客观的评价由关键帧代表的区域的重定位能力， 也是亟待解决的。难点之二是如何结合客观和主观因素选择划分关键帧：结合关键帧的特 征，往往能够知道客观上易重定位的属性，但由于人的主观因素，在一些重要的位置，为了 降低风险不愿意或不允许某一路段进行地图切换操作，如路口、站点、公交车站等重要区 域。难点之三是重叠区的安全设计。虽然找到了划分关键帧，解决了在安全地带进行地图切 割问题，但此时子地图和子地图之间是严丝合缝的，没有重叠区，所述的重叠区就是上一张 地图在尾部扩充一定区域，下一张地图在前端向前伸展一段，各自扩充或伸展整个重叠区 域的50%，就形成了一个完整的重叠区。重叠区安全设计的难点在于如何将“最为优质”的关 键帧放入重叠区，只有将“最为优质”的关键帧放入重叠区，才能保证重叠区重定位成功。但 在将“最为优质”的关键帧放入重叠区以前，原始的重叠区是不能保证重叠区每个关键帧的 质量的，因为前面的工作并没有对于重叠区关键帧进行优质筛选工作，只是对于地图切割 位置的关键帧进行了筛选。
3、本发明的设计原理
第一，建立轨迹点和关键帧的关联关系。规划轨迹为一条曲线，曲线是由一系列轨迹点组成的，每个轨迹点具有物理位置；地图上的关键帧也具有物理位置，当轨迹点的物理位置和关键帧的物理位置近似时就实现了关联。所述关键帧表示的是相机在空间某个位置所获得的特征点，因此，关键帧包括空间位置和其所获得的特征点。关键帧的空间位置用六维空间坐标来表示，其所获得的特征点具有坐标，但该坐标是图像坐标系下的坐标，而地图点是世界坐标系下的坐标。
第二，划分关键帧的设计原理。划分关键帧的设计是本发明切割子地图的第一道 安全锁。1）对筛选区域每个关键帧邻近区域的特征进行归纳，归纳为三种属性，当前关键帧 附近区域的关键帧属性、当前关键帧附近区域的地图点属性、当前关键帧附近区域的关键 帧与地图点的可视关系，这三个属性都是围绕筛选区域当前关键帧的，假设筛选区域有10 个关键帧，这10个关键帧都将成为当前关键帧；其中，分析当前关键帧附近区域的关键帧属 性的目的在于：通过与其共视的关键帧和当前关键帧的距离、角度、以及当前关键帧的可视 地图点与当前关键帧距离，分析出当前关键帧的易定位性：距离越近、角度越重合就越容易 重定位，但是只是预估容易重定位，最后的判别还需要采用机器学习的方法；其中，分析当 前关键帧附近区域的地图点属性的目的在于：通过距离当前关键帧一定范围以内的地图点 到其近邻地图点距离、该地图点可视关键帧数量、该地图点到其可视关键帧距离，分析出当 前关键帧的易定位性，距离越近、数量越多、距离越小就越容易重定位，但是只是预估容易 重定位，最后的判别还需要采用机器学习的方法。其中，分析当前关键帧附近区域的关键帧 与地图点的可视关系的目的在于：通过当前关键帧的主视方向与当前关键帧和地图点连线 方向夹角的统计量
Figure 90872DEST_PATH_IMAGE035
、当前地图点的主视方向与当前地图点和关键帧连线方向夹 角的统计量
Figure 144845DEST_PATH_IMAGE036
，分析出当前关键帧的易定位性，两个夹角的统计量，如均值，越小 就越容易重定位。但是只是预估容易重定位，最后的判别还需要采用机器学习的方法。2）采 用机器学习方法对关键帧质量进行评估，如图6所示。以上对筛选区域每个关键帧邻近区域 的特征进行了归纳，还需要对每个关键帧临近区域的易重定位属性进行客观的描述，即对 每个关键帧邻近区域的特征进行标注，使用当前地图对应场景的不同时间、光照的其他数 据，在当前地图上进行定位，根据定位结果综合评估每个关键帧对应的位置的重定位能力， 作为该关键帧的标注，把每个关键帧邻近区域的特征及该关键帧对应的标注输入给机器学 习算法，通过机器学习算法最后给出一个通用的关键帧质量判别模型，该关键帧质量判别 模型不仅可以对当前地图的关键帧进行质量评估，还可以对该地图同一场景的其他地图中 的关键帧进行质量评估。3）设置根据主观需求为不同关键帧设置风险函数。按照一定顺序 设置筛选区域，在筛选区域中选择风险低于一定阈值的、质量最好的关键帧作为切分关键 帧。
第三、重叠区域的设计原理。如图7所示，重叠区域的设计是本发明切割子地图的 第二道安全锁，已经完成的关键帧集合
Figure 993852DEST_PATH_IMAGE037
的划分方案
Figure 869667DEST_PATH_IMAGE038
中的子地图关键帧集 合
Figure 245153DEST_PATH_IMAGE039
，它代表划分方案的第i个子地图关键帧集合。每个子地图关键帧集合都对应着一个 划分后的子地图。重叠区域的设计就是将每个子地图关键帧集合
Figure 446590DEST_PATH_IMAGE040
的前后两端分别扩充 一块，假设当前被扩充的子地图关键帧集合
Figure 799205DEST_PATH_IMAGE040
的i=2，其前后两端分别扩充一块用于和后 面的子地图关键帧集合
Figure 242824DEST_PATH_IMAGE040
（i=3）、以及前面的子地图关键帧集合
Figure 239861DEST_PATH_IMAGE040
（i=1）进行重叠。创新 点在于，前后两端分别扩充的一块不是按照自然划分的原理扩充的，而是在自然扩充的基 础上选取与当前关键帧集合
Figure 986101DEST_PATH_IMAGE040
（i=2）存在共视关键帧最多的关键帧，将其加入到输出关键 帧集合
Figure 435799DEST_PATH_IMAGE041
中。子地图关键帧集合
Figure 417530DEST_PATH_IMAGE040
前后扩充分为四步：第一步，建立边界关键帧集合， 假设子地图关键帧集合
Figure 3494DEST_PATH_IMAGE040
（i=2）靠近两端（两端以内，不超出两端）各选出10帧作为两个边 界关键帧集合，第二步，再围绕每个边界关键帧集合的上下左右再扩充，形成一个临时关键 帧集合，此时，每个临时关键帧集合的外侧部分已经超出了子地图关键帧集合
Figure 671367DEST_PATH_IMAGE040
（i=2）；第 三步，在前后两个临时关键帧集合超出子地图关键帧集合
Figure 106897DEST_PATH_IMAGE042
的部分再建立一个 候选关键帧集合，候选关键帧集合位于临时关键帧集合以内、但在子地图关键帧集合
Figure 393784DEST_PATH_IMAGE040
（i =2）以外，其中，靠后的候选关键帧集合位于子地图关键帧集合
Figure 67211DEST_PATH_IMAGE040
（i=3）以内，靠前的候选 关键帧集合位于子地图关键帧集合
Figure 187876DEST_PATH_IMAGE040
（i=1）以内；第四步，对于前、后两个候选关键帧集合 分别找出与子地图关键帧集合
Figure 845122DEST_PATH_IMAGE040
（i=1）共视关键帧最多的关键帧、与子地图关键帧集合
Figure 935700DEST_PATH_IMAGE040
（i=3）共视关键帧最多的关键帧，一直找到候选关键帧中没有符合条件的关键帧或到达 设定重叠区域容纳关键帧的上限为止，分别将其加入到输出关键帧集合
Figure 620890DEST_PATH_IMAGE041
中，就形成了 输出关键帧集合
Figure 535626DEST_PATH_IMAGE041
中针对子地图关键帧集合
Figure 322578DEST_PATH_IMAGE040
（i=2）的前后两端的扩充区域。
基于以上原理，本发明设计了一种SLAM地图的划分方法。
一种SLAM地图的划分方法，其特征在于：包括以下步骤：
步骤一、向地图划分系统输入数据并初始化:
所述输入数据包括视觉地图元素、规划轨迹、系统内存分配的约束；所述视觉地图元素包括关键帧、地图点以及关键帧与地图点的关联关系；所述规划轨迹用于地图划分系统对轨迹所属地图进行子地图的划分；所述系统内存分配的约束包括：获取当前车辆用于加载SLAM地图的容量上限，根据该容量上限再计算每个子地图关键帧的容量上限；
补充说明：
由于系统的内存资源有限，在实际应用过程中，内存中存有地图的大小需要受到 限制。用于SLAM地图的内存使用上限为
Figure 715382DEST_PATH_IMAGE043
，供地图使用的内存有效率为
Figure 255079DEST_PATH_IMAGE044
。考 虑到在地图切换的过程中，内存在同一时刻加载有两张相同的地图，因此，每张地图的大小
Figure 701235DEST_PATH_IMAGE045
。设地图重叠率为
Figure 303380DEST_PATH_IMAGE046
，子图数量为
Figure 234296DEST_PATH_IMAGE047
，整图大小为
Figure 480428DEST_PATH_IMAGE048
，在无环状态下有：
Figure 940228DEST_PATH_IMAGE049
可得：
Figure 29669DEST_PATH_IMAGE050
在这里，子图数量
Figure 498697DEST_PATH_IMAGE047
的最小值为：
Figure 622773DEST_PATH_IMAGE051
；
根据地图中关键帧的数量
Figure 253474DEST_PATH_IMAGE052
、地图的容量
Figure 95790DEST_PATH_IMAGE048
与子地图的容量
Figure 368509DEST_PATH_IMAGE053
，能 够获得子地图关键帧最大值
Figure 612671DEST_PATH_IMAGE054
为：
Figure 414273DEST_PATH_IMAGE055
；
步骤二、设计关键帧集合
Figure 743886DEST_PATH_IMAGE001
的划分方案
Figure 430082DEST_PATH_IMAGE002
：根据当前规划轨迹对应的 空间顺序，设定每个子地图关键帧到达容量上限前的一定区域为筛选区域，判断该筛选区 域中的各个位置是否容易定位，将容易重定位且风险低的关键帧作为切分关键帧,该切分 关键帧用于进行地图的切分；
补充说明：
设计关键帧集合
Figure 528750DEST_PATH_IMAGE029
的划分方案
Figure 501254DEST_PATH_IMAGE056
也就是设计切割子地图的方案。 本发明整体目的是对当前轨迹所属地图进行划分，但是地图包括地图点、关键帧，如果将地 图点、关键帧合一起进行地图的划分则比较麻烦，所以先对轨迹上的关键帧进行划分。每个 子地图的关键帧划分完成，再将这些关键帧所对应的地图点通过特征点和地图点的对应关 系进行关联，将特征点对应的地图点加入进来就形成了子地图的划分。
步骤三、依照划分关键帧生成当前规划轨迹对应的地图集。
述步骤二的判断该筛选区域中的各个位置是否容易定位、将容易重定位的关键帧作为切分关键帧,该切分关键帧用于进行地图的切分,具体过程如下：
1）按照规划轨迹的时间顺序，将与当前轨迹点物理位置最近的地图中关键帧
Figure 318163DEST_PATH_IMAGE003
放 入到临时关键帧集合
Figure 667105DEST_PATH_IMAGE004
中，直到临时关键帧集合
Figure 620279DEST_PATH_IMAGE004
中元素的数量达到
Figure 29264DEST_PATH_IMAGE005
；当关键 帧集合
Figure 333469DEST_PATH_IMAGE001
为空，则完成搜索，退出；
2）在所述筛选区域中查找风险响应函数
Figure 220522DEST_PATH_IMAGE006
低于阈值且具有最高等级的关键帧；
3）如果查找不到满足条件的关键帧 ，转至步骤4）；否则转至步骤5）；
4）降低查找范围，转到步骤2;所述降低查找范围就是将筛选区前移，即改变了筛选区
5）如果获得多个满足条件的关键帧，选择风险响应函数
Figure 762624DEST_PATH_IMAGE006
低于阈值且具有最高 等级的关键帧
Figure 608089DEST_PATH_IMAGE003
作为划分关键帧，将划分关键帧以后的关键帧从临时关键帧集合
Figure 134011DEST_PATH_IMAGE004
中移 除，然后将临时关键帧集合
Figure 824755DEST_PATH_IMAGE004
中的关键帧从关键帧集合
Figure 752522DEST_PATH_IMAGE001
中移除，最后将临时关键帧集 合
Figure 503309DEST_PATH_IMAGE004
作为关键帧集合的划分方案中的一个关键帧集合
Figure 906740DEST_PATH_IMAGE007
输出，转到步骤1）；
所述当前轨迹点具有时间戳和物理位置,通过每个轨迹点的物理位置和地图中每 个相应位置的关键帧进行关联; 所述临时关键帧集合
Figure 745383DEST_PATH_IMAGE004
中元素的数量达到
Figure 917870DEST_PATH_IMAGE005
，该
Figure 341023DEST_PATH_IMAGE005
就是每个子地图关键帧的容量上限。
所述过程2) 的风险响应函数是根据主观需求设置的风险函数, 所述根据主观需求设置的风险函数包含人为设定的区域，如人多、车多等不想在使用过程中切换的情况。
补充说明
在载体的实际运营过程中，所述人为设定的区域，如当载体到达某一站点附近时， 不进行地图的切换；又如，十字路口附近，为防止地图切换功能不完善导致地图切换错误， 不希望进行地图的切换。在本模块引入风险响应函数
Figure 340072DEST_PATH_IMAGE057
，来描述关键帧是否可以被选为 划分关键帧。风险响应函数
Figure 428679DEST_PATH_IMAGE057
的具体形式与具体需求相关。本实施例在单目视觉SLAM地 图中，且仅考虑轨迹交叉的情况，即在规划轨迹发生交叉的位置附近不进行地图切分，风险 响应函数
Figure 563995DEST_PATH_IMAGE057
可以表述为如下形式：
Figure 423628DEST_PATH_IMAGE058
；
其中，
Figure 785340DEST_PATH_IMAGE059
表示关键帧
Figure 123042DEST_PATH_IMAGE060
在临近时序范围
Figure 378443DEST_PATH_IMAGE061
内满足与其位置的欧式距离小于
Figure 408978DEST_PATH_IMAGE062
、 角度差异小于
Figure 382619DEST_PATH_IMAGE063
关键帧的集合，
Figure 648647DEST_PATH_IMAGE064
表示关键帧
Figure 260019DEST_PATH_IMAGE060
与其位置的欧式距离小于
Figure 694411DEST_PATH_IMAGE062
的关键 帧的集合。
所述过程2)的最高等级的关键帧是根据容易重定位的客观需求确认的关键帧，该容易重定位的关键帧是采用关键帧质量评估特征、以及采用机器学习的方法获得的，具体过程如下：
1）对筛选区域每个关键帧邻近区域的特征进行归纳；
2）采用机器学习的方法，对筛选区域关键帧的易重定位属性进行判别；
所述过程1）的对关键帧临近区域的特征进行归纳，具体过程如下：
Figure 391234DEST_PATH_IMAGE008
、 设定当前关键帧附近区域的定位属性，该定位属性包括当前关键帧附近区域 的关键帧属性、当前关键帧附近区域的地图点属性、当前关键帧附近区域的关键帧与地图 点的可视关系属性；
补充说明
由视觉地图的结构，在本实施例中，使用二分图作为图结构，用以描述地图的拓扑 关系。地图结构可以用二分图
Figure 569275DEST_PATH_IMAGE065
来表示，其中
Figure 300733DEST_PATH_IMAGE029
表示关键帧的集合，
Figure 906026DEST_PATH_IMAGE030
表示 地图点的集合，
Figure 919506DEST_PATH_IMAGE031
表示关键帧与地图点的可视关系。关键帧的质量评估特征包括三部分：1） 来自于关键帧
Figure 792915DEST_PATH_IMAGE032
的属性，2）来自关键帧
Figure 378880DEST_PATH_IMAGE032
的可视地图点
Figure 420654DEST_PATH_IMAGE033
的属性，3）来自于关键帧
Figure 498594DEST_PATH_IMAGE032
的 关联关系
Figure 549595DEST_PATH_IMAGE034
的属性。
Figure 990066DEST_PATH_IMAGE009
、设定当前关键帧附近区域的关键帧的质量评估特征，该特征表示为：
Figure 625578DEST_PATH_IMAGE066
；
A、所述当前关键帧附近区域的关键帧属性包括但不限于：
1）当前关键帧的共视关键帧与当前关键帧相对距离的统计分布
Figure 282824DEST_PATH_IMAGE011
；
补充说明
1、共视关键帧：共视关键帧如图4所示，Ka为当前关键帧，Ka、Kb、Kc共同看到的地图点是L2,所以，Kb、Kc是Ka的共视关键帧；
2、共视关键帧与当前关键帧相对距离的统计分布：例如：获取与当前关键帧具有共视点其相对距离小于20m的关键帧，分别计算这些关键帧与当前关键帧相对距离，以2米为间隔划分成组，获得每个组内观测值的数目，即该关键帧共视范围关键帧与当前关键帧相对距离的统计分布；
2）当前关键帧的共视关键帧与当前关键帧相对角度的统计分布
Figure 225331DEST_PATH_IMAGE012
；
补充说明
当前关键帧的共视关键帧与当前关键帧相对角度的统计：例如获取与当前关键帧具有共视点且相对距离小于20m的关键帧，分别计算这些关键帧与当前关键帧相对角度，以2度为间隔划分成组，获得每个组内观测值的数目，即该关键帧共视范围关键帧与当前关键帧相对角度的统计分布；
3）当前关键帧的可视地图点与当前关键帧距离的统计分布
Figure 550002DEST_PATH_IMAGE013
；
补充说明
如图4所示，当前关键帧是Ka, 其可视地图点为L1、L2、L3、L4。例如，获取当前关键帧的全部可视地图点，分别计算这些可视地图点到关键帧位置的距离，以2m为间隔划分成组，获得每个组内观测值的数目，即该关键帧可视地图点与该关键帧位置距离的统计分布。
B、所述当前关键帧附近区域的地图点属性包括但不限于：
1）距离关键帧一定范围以内的地图点到其近邻地图点距离的统计分布
Figure 825256DEST_PATH_IMAGE014
；
补充说明
例如：获取与当前地图点距离小于50m的地图点，计算每个地图点到其距离最近k个地图点的平均距离，以2m划分成组，获得每个组内地图点的个数，即地图点到其近邻地图点距离的统计分布；
2）距离关键帧一定范围以内的地图点可视关键帧数量的统计分布
Figure 940105DEST_PATH_IMAGE015
补充说明
例如：对于到关键帧距离小于50m的地图点，计算每个点的可视关键帧的数量，以5个为间隔划分成组，获得每个组内地图点的数量，即地图点可视关键帧数量的统计分布；
3）地图点到其可视关键帧距离的均值的统计分布
Figure 332909DEST_PATH_IMAGE067
；
补充说明
例如：对于到关键帧距离小于50m的地图点，计算每个点到其可视关键帧距离的平均距离，以5m为间隔划分成组，获得每个组内地图点的数量，即地图点到其可视关键帧距离的统计分布；
4）距离关键帧一定范围内地图点的主视范围内关键帧数量的统计分布
Figure 747972DEST_PATH_IMAGE068
，
补充说明
如对于到关键帧距离小于50m的地图点，获得距离位于最大距离75与最小距离20之间且关键帧到该地图点连线与该地图点主视方向的夹角小于45度的关键帧的数量，以5个为间隔将这些地图点划分成祖，获得每组内地图点的数量，即该关键帧共视点的主视范围内关键帧数量的统计分布。
C、对于关键帧的可视关系
Figure 36871DEST_PATH_IMAGE034
的属性主要包括：
所述当前关键帧附近区域的关键帧与地图点的可视关系包括但不限于： 1）关键帧的主视方向与每个关键帧、地图点连线方向的夹角的统计量
Figure 904595DEST_PATH_IMAGE018
，如均值、方差等；
2）每个地图点的主视方向与关键帧、地图点连线方向的夹角的统计量
Figure 835511DEST_PATH_IMAGE019
， 如均值、方差等；
补充说明：
如图5所示，每个关键帧上的虚线为关键帧的主视方向，每个地图点上的虚线为地图点的主视方向，当每一对关键帧和地图点的主视方向连线的夹角越小，就越说明地图点在关键帧的正视方向，此时，关键帧看到地图点也就看得更加清晰，也就说明这个位置的关键帧更加适合子地图的切分。
所述过程2）的采用机器学习的方法，对关键帧的易重定位属性进行判别，具体过程如下：
A、获取多个用于训练的图像数据、以及用于定位的地图数据，该多个用于训练的图像数据为应用于与定位地图数据同一路段的、在不同时间、不同光照下采集的图像数据；该用于定位的地图数据为与用于训练的图像数据同一路段的一个地图数据；
B、根据当前场景下的图像数据，在地图上进行关键帧标注，具体为：
1）找到局部地图中相对于当前一帧数据F具有最多共视地图点的关键帧作为参考关键帧KF(F);
2）获取当前一帧数据F与其参考关键帧KF(F)的共视点的数量L(F), 根据下式计算L(K)，L(K)越高，表示该帧的重定位能力越强；
Figure 573922DEST_PATH_IMAGE069
；
3) 对当关键帧K进行关键帧属性标注；
C、将关键帧属性及其标注输入给PC机或云端服务器训练模型；
D、PC机或云端服务器训练模型根据输入端的关键帧属性及其标注，输出关键帧质量判别模型；
E、将关键帧质量判别模型、以及任意关键帧质量评估特征发送给关键帧质量评估模块，关键帧质量评估模块对关键帧的易重定位属性进行判别；该训练后的关键帧质量判别模型不仅可以用于训练所使用的地图，还可以对同一场景的其他地图的关键帧进行易重定位属性判别。
补充说明
1）在本实施例中，将关键帧的评价分为4类。将地图中的关键帧按照评价指标由高到低进行排序，分别以上四分位数、中位数、下四分位数对关键帧划分为四类，将关键帧的质量评估问题归纳为单标签多分类问题。
2）使用地图中的每个关键帧的特征以及标注信息，进行模型的训练。训练模型可以使用回归模型，也可以使用分类模型。在本实施例中，使用决策树模型用以解决单标签多分类的问题。模型的训练与使用模型对关键帧类型进行推断的过程是通用的方法，在此不再赘述。
所述步骤三的依照划分关键帧生成当前规划轨迹对应的地图集，该地图集中包含由两部分，索引文件以及多个子地图文件；索引文件包括关键帧的索引、关键帧所在子地图的索引、位姿信息、用于场景重识别的关键帧的特征向量；该位姿信息用于方便地图上定位状态的管控，如切图条件的判定；该用于场景重识别的关键帧特征向量，用于在当前情况未知的情况下，查找出候选关键帧，选择对应子地图进行加载。
所述生成当前规划轨迹对应的地图集，包括以下步骤：
步骤一、关键帧划分方案进行扩充如图7所示：相邻两个地图的覆盖率为
Figure 564881DEST_PATH_IMAGE021
， 子图数中含有关键帧最大值为
Figure 795267DEST_PATH_IMAGE022
，那么每个关键帧集合需要分别向前、后扩充约
Figure 264295DEST_PATH_IMAGE023
个关键帧，由于划分的生成是基于规划轨迹的，因此关键帧集合
Figure 388371DEST_PATH_IMAGE024
是有 顺序的，关键帧集合扩充操作的处理方法如下：
1）使用关键帧集合
Figure 19072DEST_PATH_IMAGE024
初始化输出集合
Figure 126968DEST_PATH_IMAGE025
；
2）分别选择关键帧集合
Figure 134107DEST_PATH_IMAGE024
的前、后10%的关键帧集合，作为边界关键帧集合，进行 以下操作；
3）获取边界关键帧集合的临近关键帧集合，将该集合与输出集合的差集作为候选 关键帧集合
Figure 847110DEST_PATH_IMAGE026
，初始化计数器；
4）在候选关键帧集合中，选取与输出关键帧集合存在共视关键帧最多的关键帧， 加入到输出关键帧集合
Figure 914292DEST_PATH_IMAGE027
中，并在候选关键帧集合
Figure 978326DEST_PATH_IMAGE026
中将其移除，计数器加一；
5）重复执行步骤4，直到在候选帧集合
Figure 54735DEST_PATH_IMAGE026
中找不到满足条件的候选关键帧或计 数器超过
Figure 74775DEST_PATH_IMAGE023
的重叠率的限制；
步骤二、进行子地图的生成：子地图的构成与地图的构成相同，关键帧集合、与关键帧存在可视关系的地图点集合，以及关键帧与地图点的关联关系；
补充说明：
即将生成的子地图包含三要素：关键帧、地图点、关联关系。生成子地图的关键帧 已经有了，该关键帧就是集合
Figure 220847DEST_PATH_IMAGE070
里面的关键帧，若要生成子地图，还需要在集 合
Figure 959127DEST_PATH_IMAGE071
里面再加入地图点、以及关键帧与地图点的关联关系。所述在集合
Figure 839228DEST_PATH_IMAGE072
里面再加入地图点，简单说就是关键帧中的特征点是其对应世界坐标系 下的地图点所“看到”而生成的，因此特征点与地图点存在着对应关系，当将集合
Figure 57982DEST_PATH_IMAGE073
里面的每一个关键帧的特征点对应的地图点加入到子地图中后，集合
Figure 296327DEST_PATH_IMAGE073
里面不仅有生成子地图的关键帧，还有生成子地图的地图点。关键帧 的特征点和地图点存在对应关系，原理如下：关键帧也可以理解为相机拍摄的一幅图像，图 像里面有特征点，代表相机在空间某个位置所看到的地图点，但是，该特征点的坐标不是世 界坐标系下的坐标，而只是在这张图像里面图像坐标系下的坐标，而地图点的坐标是在世 界坐标系下的坐标（一般以第一关键帧的坐标系作为世界坐标系），特征点为对应地图点在 该关键帧下的观测值，从而建立出一一对应的关系。
步骤三、索引文件的生成：依照生成的各个子地图中的数据，汇总生成索引文件。
以上所述并非是对本发明的限制，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明实质范围的前提下，还可以做出若干变化、改型、添加或替换，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种SLAM地图的划分方法，其特征在于：包括以下步骤：
步骤一、向地图划分系统输入数据并初始化:
所述输入数据包括视觉地图元素、规划轨迹、系统内存分配的约束；所述视觉地图元素包括关键帧、地图点以及关键帧与地图点的关联关系；所述规划轨迹用于地图划分系统对轨迹所属地图进行子地图的划分；所述系统内存分配的约束包括：获取当前车辆用于加载SLAM地图的容量上限，根据该容量上限再计算每个子地图关键帧的容量上限；
步骤二、设计关键帧集合
Figure FDA0003348198060000011
的划分方案
Figure FDA0003348198060000012
根据当前规划轨迹对应的空间顺序，设定每个子地图关键帧到达容量上限前的一定区域为筛选区域，判断该筛选区域中的各个位置是否容易定位，将容易重定位且低风险的关键帧作为切分关键帧,该切分关键帧用于进行地图的切分；具体过程步骤如下：
1)按照规划轨迹的时间顺序，将与当前轨迹点物理位置最近的地图中关键帧K放入到临时关键帧集合τ(K)中，直到临时关键帧集合τ(K)中元素的数量达到
Figure FDA0003348198060000013
当关键帧集合
Figure FDA0003348198060000014
为空，则完成搜索，退出；
2)在所述筛选区域中查找风险响应函数δ(K)低于阈值且具有最高等级的关键帧；
3)如果查找不到满足条件的关键帧，转至步骤4)；否则转至步骤5)；
4)降低查找范围，转到步骤2)；所述降低查找范围即是将筛选区前移，即改变了筛选区；
5)如果获得多个满足条件的关键帧，选择风险响应函数δ(K)低于阈值且具有最高等级的关键帧K作为划分关键帧，将划分关键帧以后的关键帧从临时关键帧集合τ(K)中移除，然后将临时关键帧集合τ(K)中的关键帧从关键帧集合
Figure FDA0003348198060000015
中移除，最后将临时关键帧集合τ(K)作为关键帧集合的划分方案中的一个关键帧集合
Figure FDA0003348198060000016
输出，转到步骤1)；
所述当前轨迹点具有时间戳和物理位置,通过每个轨迹点的物理位置和地图中每个相应位置的关键帧进行关联；所述临时关键帧集合τ(K)中元素的数量达到
Figure FDA0003348198060000017
该
Figure FDA0003348198060000018
就是每个子地图关键帧到达容量上限；
步骤三、依照划分关键帧生成当前规划轨迹对应的地图集。
2.根据权利要求1所述一种SLAM地图的划分方法，其特征在于，所述步骤2)的风险响应函数是根据主观需求设置的风险函数,所述主观需求包含人为设定的区域。
3.根据权利要求1所述一种SLAM地图的划分方法，其特征在于，所述步骤2)的最高等级的关键帧是根据容易重定位的客观需求确认的关键帧，该容易重定位的关键帧是采用关键帧质量评估特征、以及采用机器学习的方法获得的，具体过程如下：
1)对筛选区域每个关键帧邻近区域的特征进行归纳；
2)采用机器学习的方法，对筛选区域关键帧的易重定位属性进行判别。
4.根据权利要求3所述一种SLAM地图的划分方法，其特征在于，所述过程1)的对关键帧邻近区域的特征进行归纳，具体过程如下：
i、设定当前关键帧附近区域的定位属性，该定位属性包括当前关键帧附近区域的关键帧属性、当前关键帧附近区域的地图点属性、当前关键帧附近区域的关键帧与地图点的可视关系属性；
ii、设定当前关键帧附近区域的关键帧的质量评估特征，该特征表示为：
Figure FDA0003348198060000021
所述当前关键帧附近区域的关键帧属性包括：当前关键帧的共视关键帧与当前关键帧相对距离的统计分布Hk，1(K)；当前关键帧的共视关键帧与当前关键帧相对角度的统计分布Hk，2(K)；当前关键帧的可视地图点与当前关键帧距离的统计分布Hk，3(K)；
所述当前关键帧附近区域的地图点属性包括：距离关键帧一定范围以内的地图点到其近邻地图点距离的统计分布
Figure FDA0003348198060000022
距离关键帧一定范围以内的地图点可视关键帧数量的统计分布
Figure FDA0003348198060000023
地图点到其可视关键帧距离的均值的统计分布
Figure FDA0003348198060000024
距离关键帧一定范围内地图点的主视范围内关键帧数量的统计分布
Figure FDA0003348198060000025
所述当前关键帧附近区域的关键帧与地图点的可视关系包括：
1)关键帧的主视方向与每个关键帧、地图点连线方向的夹角的统计量He，1(ε(K))，该统计量包括均值、方差；
2)每个地图点的主视方向与关键帧、地图点连线方向的夹角的统计量He，2(ε(K))，该统计量包括均值、方差。
5.根据权利要求3所述一种SLAM地图的划分方法，其特征在于，所述过程2)的采用机器学习的方法，对关键帧的易重定位属性进行判别，具体过程如下：
A、获取多个用于训练的图像数据、以及用于定位的地图数据，该多个用于训练的图像数据为应用于与定位地图数据同一路段的、在不同时间、不同光照下采集的图像数据；该用于定位的地图数据为与用于训练的图像数据同一路段的一个地图数据；
B、根据当前场景下的图像数据，在地图上进行关键帧标注，具体为：
1)找到局部地图中相对于当前一帧数据F具有最多共视地图点的关键帧作为参考关键帧KF(F)；
2)获取当前一帧数据F与其参考关键帧KF(F)的共视点的数量L(F),根据下式计算L(K)，L(K)越高，表示该帧的重定位能力越强；
Figure FDA0003348198060000031
3)对当关键帧K进行关键帧属性标注；
C、将关键帧属性及其标注输入给PC机或云端服务器训练模型；
D、PC机或云端服务器训练模型根据输入端的关键帧属性及其标注，输出关键帧质量判别模型；
E、将关键帧质量判别模型、以及任意关键帧质量评估特征发送给关键帧质量评估模块，该关键帧质量评估模块对关键帧的易重定位属性进行判别；该训练后的关键帧质量判别模型不仅可以用于训练所使用的地图，还可以对同一场景的其他地图的关键帧进行易重定位属性判别。
6.根据权利要求1所述一种SLAM地图的划分方法，其特征在于，所述步骤三的依照划分关键帧生成当前规划轨迹对应的地图集，该地图集中包含由两部分，索引文件以及多个子地图文件；索引文件包括关键帧的索引、关键帧所在子地图的索引、位姿信息、用于场景重识别的关键帧的特征向量；该位姿信息用于方便地图上定位状态的管控，如切图条件的判定；该用于场景重识别的关键帧特征向量，用于在当前情况未知的情况下，查找出候选关键帧，选择对应子地图进行加载。
7.根据权利要求6所述一种SLAM地图的划分方法，其特征在于，所述生成当前规划轨迹对应的地图集，包括以下步骤：
步骤一、关键帧划分方案进行扩充：相邻两个地图的覆盖率为ηoverlap，子图数中含有关键帧最大值为
Figure FDA0003348198060000041
那么每个关键帧集合需要分别向前、后扩充约
Figure FDA0003348198060000042
个关键帧，由于划分的生成是基于规划轨迹的，因此关键帧集合
Figure FDA0003348198060000043
是有顺序的，关键帧集合扩充操作的处理方法如下：
1)使用关键帧集合
Figure FDA0003348198060000044
初始化输出集合
Figure FDA0003348198060000045
2)分别选择关键帧集合
Figure FDA0003348198060000046
的前、后10％的关键帧集合，作为边界关键帧集合，进行以下操作；
3)获取边界关键帧集合的邻近关键帧集合，将该集合与输出集合的差集作为候选关键帧集合
Figure FDA0003348198060000047
初始化计数器；
4)在候选关键帧集合中，选取与输出关键帧集合存在共视关键帧最多的关键帧，加入到输出关键帧集合
Figure FDA0003348198060000048
中，并在候选关键帧集合
Figure FDA0003348198060000049
中将其移除，计数器加一；
5)重复执行步骤4)，直到在候选帧集合
Figure FDA00033481980600000410
中找不到满足条件的候选关键帧或计数器超过
Figure FDA00033481980600000411
的重叠率的限制；
步骤二、进行子地图的生成：子地图的构成与地图的构成相同，关键帧集合、与关键帧存在可视关系的地图点集合，以及关键帧与地图点的关联关系；
步骤三、索引文件的生成：依照生成的各个子地图中的数据，汇总生成索引文件。
CN202111083828.4A 2021-09-16 2021-09-16 一种slam地图的划分方法 Active CN113537171B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111083828.4A CN113537171B (zh) 2021-09-16 2021-09-16 一种slam地图的划分方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111083828.4A CN113537171B (zh) 2021-09-16 2021-09-16 一种slam地图的划分方法

Publications (2)

Publication Number Publication Date
CN113537171A CN113537171A (zh) 2021-10-22
CN113537171B true CN113537171B (zh) 2021-12-21

Family

ID=78123236

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111083828.4A Active CN113537171B (zh) 2021-09-16 2021-09-16 一种slam地图的划分方法

Country Status (1)

Country Link
CN (1) CN113537171B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101996420A (zh) * 2009-08-21 2011-03-30 索尼公司 信息处理装置、信息处理方法及程序
CN108398139A (zh) * 2018-03-01 2018-08-14 北京航空航天大学 一种融合鱼眼图像与深度图像的动态环境视觉里程计方法
CN109509255A (zh) * 2018-07-26 2019-03-22 京东方科技集团股份有限公司 一种标签化地图构建及空间地图更新方法和装置
CN109658445A (zh) * 2018-12-14 2019-04-19 北京旷视科技有限公司 网络训练方法、增量建图方法、定位方法、装置及设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5635982A (en) * 1994-06-27 1997-06-03 Zhang; Hong J. System for automatic video segmentation and key frame extraction for video sequences having both sharp and gradual transitions
US10953545B2 (en) * 2018-08-13 2021-03-23 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for autonomous navigation using visual sparse map
CN109887053B (zh) * 2019-02-01 2020-10-20 广州小鹏汽车科技有限公司 一种slam地图拼接方法及系统
CN111325842B (zh) * 2020-03-04 2023-07-28 Oppo广东移动通信有限公司 地图构建方法、重定位方法及装置、存储介质和电子设备
CN112365604B (zh) * 2020-11-05 2024-08-23 深圳市中科先见医疗科技有限公司 基于语义分割和slam的ar设备景深信息应用方法
CN112541970A (zh) * 2020-11-30 2021-03-23 北京华捷艾米科技有限公司 一种集中式协同SlAM中的重定位方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101996420A (zh) * 2009-08-21 2011-03-30 索尼公司 信息处理装置、信息处理方法及程序
CN108398139A (zh) * 2018-03-01 2018-08-14 北京航空航天大学 一种融合鱼眼图像与深度图像的动态环境视觉里程计方法
CN109509255A (zh) * 2018-07-26 2019-03-22 京东方科技集团股份有限公司 一种标签化地图构建及空间地图更新方法和装置
CN109658445A (zh) * 2018-12-14 2019-04-19 北京旷视科技有限公司 网络训练方法、增量建图方法、定位方法、装置及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种融合语义地图与回环检测的视觉SLAM方法;郑冰清 等;《中国惯性技术学报》;20201031;第28卷(第5期);629-637 *

Also Published As

Publication number Publication date
CN113537171A (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
US11182612B2 (en) Systems and methods for place recognition based on 3D point cloud
CN110837778B (zh) 一种基于骨架关节点序列的交警指挥手势识别方法
WO2023065395A1 (zh) 作业车辆检测与跟踪方法和系统
Du et al. A general pipeline for 3d detection of vehicles
Jana et al. YOLO based Detection and Classification of Objects in video records
Kühnl et al. Monocular road segmentation using slow feature analysis
CN109101932B (zh) 基于目标检测的多任务及临近信息融合的深度学习方法
CN104424634A (zh) 对象跟踪方法和装置
CN111666805A (zh) 用于自动驾驶的类别标记系统
CN102324041B (zh) 像素归类方法、关节体姿态识别方法及鼠标指令生成方法
EP4047554A1 (en) Training method for multi-object tracking model and multi-object tracking method
CN111554105A (zh) 一种复杂交通路口的智能流量识别与统计方法
CN113704381B (zh) 路网数据处理方法、装置、计算机设备和存储介质
Hu et al. Domain-invariant similarity activation map contrastive learning for retrieval-based long-term visual localization
CN111126459A (zh) 一种车辆细粒度识别的方法及装置
Rateke et al. Passive vision region-based road detection: A literature review
Huang et al. An online multi-lidar dynamic occupancy mapping method
Dewangan et al. Towards the design of vision-based intelligent vehicle system: methodologies and challenges
CN115841649A (zh) 一种用于城市复杂场景的多尺度人数统计方法
CN110738132A (zh) 一种具备判别性感知能力的目标检测质量盲评价方法
CN113537171B (zh) 一种slam地图的划分方法
CN113903173A (zh) 一种基于有向图结构和lstm的车辆轨迹特征提取方法
CN115994925B (zh) 一种基于关键点检测的多行人快速跟踪方法
CN115731287B (zh) 基于集合与拓扑空间的运动目标检索方法
CN103839278A (zh) 一种前景检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant