CN115375870B - 回环检测优化方法、电子设备及计算机可读存储装置 - Google Patents

回环检测优化方法、电子设备及计算机可读存储装置 Download PDF

Info

Publication number
CN115375870B
CN115375870B CN202211312717.0A CN202211312717A CN115375870B CN 115375870 B CN115375870 B CN 115375870B CN 202211312717 A CN202211312717 A CN 202211312717A CN 115375870 B CN115375870 B CN 115375870B
Authority
CN
China
Prior art keywords
key frame
candidate
information
candidate key
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211312717.0A
Other languages
English (en)
Other versions
CN115375870A (zh
Inventor
涂曙光
马子昂
刘征宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Huacheng Software Technology Co Ltd
Original Assignee
Hangzhou Huacheng Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Huacheng Software Technology Co Ltd filed Critical Hangzhou Huacheng Software Technology Co Ltd
Priority to CN202211312717.0A priority Critical patent/CN115375870B/zh
Publication of CN115375870A publication Critical patent/CN115375870A/zh
Application granted granted Critical
Publication of CN115375870B publication Critical patent/CN115375870B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching

Abstract

本申请公开了一种回环检测优化方法。该方法包括:获取当前关键帧,并记录当前关键帧的属性信息,其中,属性信息包括点云信息、位姿信息和时间戳信息;在当前关键帧所在区域,利用位姿信息和/或时间戳信息筛选得到若干候选关键帧集合,每一候选关键帧集合包括若干时间戳在预设时间阈值内的候选关键帧;基于每一候选关键帧集合生成对应的栅格地图;将当前关键帧的点云信息分别与每一候选关键帧集合对应的栅格地图进行匹配;利用当前关键帧对匹配成功的候选关键帧集合内的候选关键帧进行优化。本申请还公开了一种电子设备及计算机可读存储装置。通过上述方式,本申请能够提高回环检测的准确性。

Description

回环检测优化方法、电子设备及计算机可读存储装置
技术领域
本申请涉及数据处理领域,特别是涉及一种回环检测优化方法、电子设备及计算机可读存储装置。
背景技术
回环检测技术是SLAM(simultaneous localization and mapping,即时定位与地图构建)中非常重要的一个模块。SLAM技术目前是机器人实现精确建图和定位的一种重要方法和技术,其主要应用于在一些未知环境中,无法通过定位技术来确定准确位置信息的情况。SLAM技术是通过激光雷达获取地图数据,将某一帧的地图数据与局部地图或全局地图进行相关性匹配,获取到该帧在地图中的位置,然后将该帧的地图数据添加至局部地图或全局地图中。但是在进行相关性匹配的过程中,会存在一定的偏移误差,使得定位的位置精度下降甚至出现错误,而回环检测的作用就是减少这种偏移误差。回环检测用于检测判断机器人是否经过曾经达到的位置附近,判定回环检测成功后,通过后端来减少误差。但是这种方法在激光雷达的工作视野小于360度时,由于获取的数据量降低,回环检测的准确性受到严重影响。
发明内容
本申请主要目的是提供一种回环检测优化方法、电子设备及计算机可读存储装置,能够解决机器人工作视野减小时,回环检测的准确性降低的技术问题。
为解决上述技术问题,本申请采用的第一个技术方案是:提供一种回环检测优化方法。该方法包括:获取当前关键帧,并记录当前关键帧的属性信息,其中,属性信息至少包括点云信息、位姿信息和时间戳信息;在当前关键帧所在区域,利用位姿信息和/或时间戳信息筛选若干候选关键帧集合,每一候选关键帧集合包括若干时间戳在预设时间阈值内的候选关键帧;基于每一候选关键帧集合生成对应的栅格地图;将当前关键帧的点云信息分别与每一候选关键帧集合对应的栅格地图进行匹配;利用当前关键帧对匹配成功的候选关键帧集合内的候选关键帧进行优化。
为解决上述技术问题,本申请采用的第二个技术方案是:提供一种电子设备。该电子设备包括存储器和处理器,存储器用于存储程序数据,程序数据能够被处理器执行,以实现如第一个技术方案中所述的方法。
为解决上述技术问题,本申请采用的第三个技术方案是:提供一种计算机可读存储装置。该计算机可读存储装置存储有程序数据,能够被处理器执行,以实现如第一个技术方案中所述的方法。
本申请的有益效果是:区别于现有技术的情况,本申请先获取确定当前的关键帧,并进一步记录了当前关键帧的点云信息、位姿信息以及时间戳信息。而后通过当前关键帧的位姿信息和/或时间戳信息对其他的关键帧进行筛选,得到候选的关键帧集合。再将当前关键帧与候选关键帧集合进行匹配,从而进行后续优化。通过在进行回环检测之前进行前置判断,利用当前关键帧的位姿信息和/或时间戳信息对其他的关键帧进行筛选,减少了无关关键帧的数量,降低了回环检测时对关键帧进行匹配的耗时以及误匹配率,而其中利用关键帧的位姿信息进行筛选还进一步筛除了与当前关键帧位姿不同的其他关键帧,降低了由于工作视野减小、获取数据量减少使得位姿不同的关键帧与当前关键帧回环检测匹配成功的误匹配问题发生的可能。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是误匹配一示意图;
图2是本申请回环检测优化方法一实施方式的整体流程示意图;
图3是本申请回环检测优化方法一实施方式的局部流程示意图;
图4是本申请回环检测优化方法第一实施例的流程示意图;
图5是本申请回环检测优化方法第二实施例的流程示意图;
图6是本申请关键帧范围筛选一示意图;
图7是本申请回环检测优化方法第三实施例的流程示意图;
图8是时间戳筛选一示意图;
图9是姿态角筛选一示意图;
图10是本申请回环检测优化方法第四实施例的流程示意图;
图11是本申请回环检测优化方法第五实施例的流程示意图;
图12是关键帧之间的约束关系一示意图;
图13是本申请回环检测优化方法第六实施例的流程示意图;
图14是候选关键帧合并一示意图;
图15是本申请电子设备一实施例的结构示意图;
图16是本申请计算机可读存储装置一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
在介绍本申请的技术方案之前,先简单介绍一下相关技术。
SLAM技术的本质是通过将一帧激光点云数据与局部地图(一些邻近激光点云数据匹配形成的栅格地图或者点云地图)或者全局地图(所有激光雷达数据匹配生成的栅格地图或者点云地图)进行相关性匹配,从而获得当前帧点云在局部地图或者全局地图中的位置,并根据获得的位置信息将点云插入到局部地图和全局地图中。而点云在匹配的过程中依旧会存在一定的匹配误差,匹配误差经过长时间的累积,累积误差会使局部地图和全局地图产生明显的偏移,从而使定位精度下降甚至发生错误,回环检测的作用就是减小或者消除点云匹配产生的累积误差。回环检测成功,即判定机器人经过之前已经达到过的位置附近,通过后端优化来减少累计的误差。后端优化是指根据回环检测的结果构建代价函数并对其进行线性求解,更新所有的激光点云数据的位姿信息。
回环检测对于整体地图的构建具有至关重要的作用,其不仅需要高准确性,还需要高实时性。回环检测是将某一帧的点云信息与局部或全局的地图数据进行匹配,由于局部或地图的面积较大,回环检测的耗时会较大,影响构建地图的效率。而如果激光雷达的水平扫描角度小于360度,其获取的数据量减少,会造成激光雷达对环境的感知能力和区分能力的下降,提高回环检测的误匹配概率。如图1所示,图中A、B两区域位于一矩形环境中,A、B对应的阴影扇形范围为雷达的扫描视角范围。阴影的小矩形为一障碍物。虽然A、B两点的位姿信息不同,但是由于雷达扫描视角的原因,激光雷达对于在A点或B点的感知结果是基本相同的,也就使得回环检测时,可能就将A、B两点的帧数据进行误匹配,对整体地图的构建产生影响。现有技术中难以同时保证回环检测的高准确性和实时性,尤其是在当激光雷达的工作视野小于360度时,获取的数据量减少,每一帧激光点云数据中数据量的降低更提高了回环检测时帧数据的误匹配度,严重影响回环检测的准确性。
如图2所示,图2为本申请回环检测优化方法的一实施方式的整体流程示意图。
机器人通过激光雷达获取激光雷达数据。每一帧的激光雷达数据经过前端匹配后会形成一帧激光雷达关键帧。而在前端匹配过程中该激光雷达关键帧的时间戳、输出位姿以及协方差矩阵等信息会作为该激光雷达关键帧的属性信息被存储起来。通常情况下,激光雷达关键帧的属性数据包括点云信息、位姿信息、时间戳信息以及协方差矩阵信息。获取关键帧之后进行回环检测,检测成功之后依照当前关键帧进行局部优化。局部优化之后对优化的关键帧进行合并,再进行全局优化。
如图3所示,图3为本申请回环检测优化方法一实施方式的局部流程示意图。
先为当前关键帧划分用于回环检测的候选关键帧的选择范围,然后根据选择范围内候选关键帧的数量、姿态角信息以及时间戳信息进行筛选,得到候选关键帧的若干集合,将当前关键帧与候选关键帧集合进行回环检测。
参照图4,图4为本申请回环检测优化方法第一实施例的流程示意图。其包括以下步骤:
S11:获取当前关键帧,并记录当前关键帧的属性信息,其中,属性信息包括点云信息、位姿信息和时间戳信息。
获取当前的关键帧,确定存储的与该关键帧对应的属性信息。
点云是指目标表面特性的海量点集合,其一般通过激光测量或摄影测量得到。点云能够以较高的精度反映地表的真实状况,例如地面的状态、地面障碍物的特征等等。激光测量得到的点云包括三维坐标以及反射强度。这类点云通常能够通过回波特性和反射强度判定物体的状态。例如植被等的回波会较多,其反射强度会弱于建筑物等。摄影测量的点云一般包括三维坐标和颜色信息,颜色信息用于识别物体。
位姿信息包含位置和姿态两部分的信息。通常姿态可以用旋转举证来表示,而位置可以用平移向量来表示,或者也可以将其统一在一个变换举证中。
时间戳信息是利用数字签名技术产生的数据,用于证明对象在签名时间时已存在。此处的时间戳信息即可对应关键帧生成时间。
S12:在当前关键帧所在区域,利用位姿信息和/或时间戳信息筛选得到若干候选关键帧集合,每一候选关键帧集合包括若干时间戳在预设时间阈值内的候选关键帧。
在已建立的地图中,确定了当前关键帧的位置。在对当前关键帧进行回环检测之前,首先根据当前关键帧属性信息包括的位姿信息和/或时间戳信息对其他的关键帧进行筛选,得到筛选后的候选关键帧。“/”为或者。在一实施例中,可以是根据当前关键帧的位姿信息对其他的关键帧进行筛选。在另一实施例中,可以是根据当前关键帧的生成的时间戳信息对其他的关键帧进行筛选。在又一实施例中,可以是根据当前关键帧的位姿信息和时间戳信息对其他的关键帧进行筛选。用于筛选的条件越多,得到的用于回环的关键帧与当前关键帧误匹配的几率越低。而生成时间相近,处于预设时间范围内的候选关键帧会划分为候选关键帧集合。候选关键帧集合用于后续与当前关键帧的回环检测。得到的若干候选关键帧集合为至少一个候选关键帧集合。
S13:基于每一候选关键帧集合生成对应的栅格地图。
对于得到的每一个候选关键帧集合,将集合中所有的候选关键帧的点云信息依照其位姿信息生成一张栅格地图。
S14:将当前关键帧的点云信息分别与每一候选关键帧集合对应的栅格地图进行匹配。
将当前关键帧的点云信息与候选关键帧集合生成的栅格地图进行匹配,或当前关键帧的点云信息与栅格地图的重合度满足阈值要求,则判定为匹配成功,回环检测成功,能够基于该候选关键帧集合和当前关键帧进行优化。若当前关键帧的点云信息与栅格地图的重合度不满足阈值要求,则匹配失败,当前关键帧回环检测不成功,跳过后续的优化过程。
S15:利用当前关键帧对匹配成功的候选关键帧集合内的候选关键帧进行优化。
利用当前关键帧对候选关键帧集合中的各个候选关键帧进行位姿的优化,减小集合中的关键帧的位姿误差。
本实施例中,先获取确定当前的关键帧,并进一步记录了当前关键帧的点云信息、位姿信息以及时间戳信息。而后通过当前关键帧的位姿信息和/或时间戳信息对其他的关键帧进行筛选,得到候选的关键帧集合。再将当前关键帧与候选的关键帧集合进行匹配,从而进行后续优化。通过在进行回环检测之前进行前置判断,利用当前关键帧的位姿信息和/或时间戳信息对其他的关键帧进行筛选,减少了无关关键帧的数量,降低了回环检测时对关键帧进行匹配的耗时以及误匹配率,而其中利用关键帧的位姿信息进行筛选还进一步筛除了与当前关键帧位姿不同的其他关键帧,降低了由于工作视野减小、获取数据量减少使得位姿不同的关键帧与当前关键帧回环检测匹配成功的误匹配问题发生的可能。
参照图5,图5为本申请回环检测优化方法第二实施例的流程示意图。其包括以下步骤:
S21:以当前关键帧的位置为中心按照预设范围确定一搜索区域。
在获取关键帧进行地图构建的过程中,能够首先根据获取的关键帧信息确定一条运动路径。这条运动路径可能与实际的运动路径有所偏差,因此在其获取关键帧以构建地图,确定位置时需要对该关键帧进行回环检测。如图6所示,当对当前的关键帧进行回环检测时,先以当前关键帧为中心按照预设范围设置一关键帧的搜索区域,图中矩形A为当前关键帧设定的搜索矩形范围。该搜索区域内的关键帧就用于后续对当前关键帧回环检测的判定。通常情况下,搜索区域为以当前关键帧位置为中心,边长为一点五至两米的矩形范围。搜索区域的范围大小是可以依照实际情况进行设置的,在此不做限定。
S22:判断搜索区域内的候选关键帧的数量是否达到预设数量阈值。
判定位于该搜索区域内的关键帧的数量是否达到预设的数量阈值,若否,执行步骤S23。若是,执行步骤S24。
S23:跳过当前关键帧的回环检测。
在以当前关键帧为中心的预设范围内,获取的关键帧数量小于预设数量阈值,表明构建用于回环检测过程中匹配当前关键帧的栅格地图的数据信息不足,对当前关键帧进行误判断的几率较高,因此不进行回环检测的匹配,跳过该当前关键帧的回环检测阶段。
S24:在当前关键帧所在区域,利用位姿信息和/或时间戳信息筛选得到若干候选关键帧集合。
在以当前关键帧为中心的预设范围内,获取的关键帧数量大于预设数量阈值,表明构建用于回环检测过程中匹配当前关键帧的栅格地图的数据信息较为完整,其用于匹配时的误判断几率较低。搜索区域内的所有关键帧都作为可用于回环检测匹配过程的候选关键帧。确定了候选关键帧后,通过关键帧对应的位姿信息和/或时间戳信息对所有的候选关键帧进行筛选,将其划分为至少一个候选关键帧集合。
参照图7,图7为本申请回环检测优化方法第三实施例的流程示意图。该方法是对步骤S24的进一步扩展。其包括以下步骤:
S31:基于当前关键帧的时间戳信息获取搜索区域内满足时间条件的若干候选关键帧,并按照若干候选关键帧的时间戳信息进行划分,得到若干候选关键帧集合。
得到多个候选关键帧之后,用于对当前关键帧进行回环检测的候选关键帧其需要与当前关键帧相隔一定的时间,因此根据关键帧对应的时间戳信息对所有的候选关键帧进行筛选。设置一时间条件为:当前关键帧与候选关键帧的时间差大于或等于第一预设时间阈值。当候选关键帧的时间与当前关键帧的时间超过该第一预设时间阈值时,表明其可用于后续的回环检测过程,未超过该第一预设时间阈值的则被先行筛除。剩下的候选关键帧会依照时间戳信息进行进一步的划分,划分为若干候选关键帧集合。若干候选关键帧集合为至少一个候选关键帧集合。
候选关键帧集合中包括的若干候选关键帧,其时间戳在预设时间阈值内。若干为至少一个。例如,该候选关键帧集合中时间最先的候选关键帧与时间最后的候选关键帧,其之间的时间差值在该预设时间阈值内。
而若干候选关键帧集合互相之间的时间差大于或等于第二预设时间阈值。即一候选关键帧集合中时间最先的候选关键帧的时间戳信息与另一候选关键帧集合中时间最后的候选关键帧的时间戳信息其相差大于或等于第二预设时间阈值,使得得到的各个候选关键帧集合为不同时间段内获取的关键帧集合。
如图8所示,图8是时间戳一示意图。图中显示的是一当前关键帧搜索区域内所有关键帧的路径信息。假设当前关键帧处于第④号路径上,在第④号路径上的候选关键帧由于其时间戳信息与当前关键帧的时间戳信息相距小于第一预设时间阈值,会被首先筛除。留下的第①号路径、第②号路径以及第③号路径上的候选关键帧数据中、其时间戳信息依次增加,即第①号路径中候选关键帧的时间戳信息为三个路径中最先的,第②号路径其次,第③号路径最晚。第①号路径中时间最晚的候选关键帧的时间戳信息与第②号路径中时间最先的候选关键帧的时间戳信息,其时间差大于第二预设时间阈值,而第②号路径中时间最晚的候选关键帧的时间戳信息与第③号路径中时间最先的候选关键帧的时间戳信息,其时间差也大于第二预设时间阈值。而第①号路径,第②号路径以及第③号路径其各自路径上的时间最先的候选关键帧与时间最后的候选关键帧,其时间差值都小于预设时间阈值,则最后可以得到三个候选关键帧集合,分别是搜索区域内第①路径上所有候选关键帧的集合、第②路径上候选关键帧的集合以及第③路径上候选关键帧的集合。
本实施例中的第一预设时间阈值、第二预设时间阈值、以及预设阈值都依照实际情况进行设置,在此不做限定。
S32:基于当前关键帧的位姿信息删除每一候选关键帧集合中不满足姿态角条件的候选关键帧。
确定若干候选关键帧集合后,为了进一步抑制由于工作扫描视角不足360度,使得关键帧包含的数据量减少造成回环检测误匹配问题的发生,利用当前关键帧的位姿信息再次对候选关键帧集合中的候选关键帧进行筛选。
通过当前关键帧的姿态角信息对所有候选关键帧集合中的候选关键帧进行筛选。对不满足姿态角条件的候选关键帧进行筛除,不参与后续的回环检测匹配过程。而姿态角条件为:当前关键帧的姿态角与候选关键帧的姿态角的角度差小于或等于预设角度阈值。如图9所示,图中1为当前关键帧的姿态角信息,2-11的候选关键帧为一候选关键帧集合中的部分候选关键帧,其构成了一条路径。在这十个候选关键帧中,2-5、9-11的候选关键帧的姿态角与当前候选关键帧的姿态角的角度差小于预设角度阈值,6-8的候选关键帧的姿态角与当前候选关键帧的姿态角的角度差大于预设角度阈值,因此6-8的候选关键帧会从该候选关键帧集合中删除,不能用于后续的回环检测匹配。
本实施例中,在回环检测之前,先通过关键帧的属性信息对关键帧进行筛选,减少了用于回环检测的关键帧的数量,较少了无效的回环检测的次数,节约了计算资源,提高了回环检测的运行效率。通过姿态角信息对关键帧进行筛选的过程,在扫描工作视角小于360度,关键帧数据量较少的情况下,防止了由于场景相似而造成的回环检测误匹配的问题。
参照图10,图10为本申请回环检测优化方法第四实施例的流程示意图。该方法是对步骤S14的进一步扩展。其包括以下步骤:
S41:获取每一候选关键帧集合对应的栅格地图中所有候选关键帧的候选栅格点。
经过多次筛选,确定了若干的候选关键帧集合后,对于每一候选关键帧集合,依照集合中所有候选关键帧的点云信息和位姿信息生成一张栅格地图。该栅格地图中包括了依照点云信息和位姿信息确定的若干候选栅格点。候选栅格点代表了扫描的该区域的表面特性。
S42:获取当前关键帧的点云信息投影在每一候选关键帧集合对应的栅格地图的投影栅格点。
将当前关键帧的点云信息映射在该栅格地图中,获取与当前关键帧对应的投影栅格点。将投影栅格点与候选关键帧集合生成的候选栅格点进行重合度计算。
S43:计算候选栅格点与投影栅格点的重合度,利用重合度评价匹配结果。
若投影栅格点与候选栅格点的重合度高于预设阈值,则表明匹配成功,而匹配成功,则表明回环检测成功,当前关键帧能够用于后端优化,对其他关键帧进行位姿矫正。若重合度低于预设阈值,表明匹配不成功,回环检测失败,再选择另一候选关键帧集合对应的栅格地图进行重合度计算,直至所有候选关键帧集合都完成了重合度计算过程。
参照图11,图11为本申请回环检测优化方法第五实施例的流程示意图。该方法是对步骤S15的进一步扩展。其包括以下步骤:
S51:将重合度高于预设重合度阈值的候选关键帧集合,作为匹配成功的候选关键帧集合。
重合度高于预设重合度阈值的候选关键帧集合,表明回环检测成功,该候选关键帧集合首先与当前关键帧进行局部优化。
S52:获取当前关键帧,以及匹配成功的候选关键帧集合中每一关键帧的位姿信息以及协方差矩阵。
S53:基于每两个关键帧的位姿信息,计算每两个关键帧的位姿变换信息。
S54:按照每一关键帧的位姿信息、协方差矩阵以及位姿变换信息对匹配成功的候选关键帧集合进行局部优化。
获取到关键帧的位姿信息,关键帧位姿的协方差矩阵,以及关键帧之间的位姿变换信息后,能够确定各个关键帧之间的位姿约束关系,基于该位姿约束关系通过公式对候选关键帧集合中的候选关键帧进行位姿优化。
如图12所示,图12是关键帧之间的约束关系一示意图。图中显示各个关键帧之间的位姿约束关系。其中,Vx代表关键帧位姿,Exy代表关键帧之间的位姿变换关系。
而候选关键帧的局部优化可通过如下公式实现:
Figure 12884DEST_PATH_IMAGE001
其中,
Figure 14338DEST_PATH_IMAGE002
为第k个关键帧的位姿与观测量位姿
Figure 947659DEST_PATH_IMAGE003
之间的差值,而
Figure 350959DEST_PATH_IMAGE004
Figure 954109DEST_PATH_IMAGE005
为第k个关键帧位姿的协方差矩阵。观测量位姿为前端匹配时测量得 到的关键帧的位姿。
通过该公式使得得到的位姿与观测量位姿的差值最小,所有关键帧位姿的误差最小。
参照图13,图13为本申请回环检测优化方法第六实施例的流程示意图。该方法是第五实施例的进一步扩展。其包括以下步骤:
S61:将局部优化后的候选关键帧集合中所有候选关键帧合并成一个优化关键帧。
在对匹配成功候选关键帧集合中的候选关键帧完成了局部优化后,需对剩余的所有关键帧进行全局优化。先将得到的局部优化后的候选关键帧集合中的所有候选关键帧合并为一个优化关键帧。
如图14所示,图14为候选关键帧合并一示意图。图14中左边为合并前的A、B、C三个候选关键帧,右边为合并后得到的一个优化关键帧。依照关键帧的点云信息对其合并,通常以时间戳信息靠前的关键帧的位姿信息为基准进行点云信息的合并。例如A、B、C三个候选关键帧中,A的时间戳信息为最先,则以A的位姿信息进行点云信息的合并,合并之后的优化关键帧为以A的位姿信息为基准集合了候选关键帧集合中其他所有候选关键帧点云信息的关键帧。
S62:基于当前关键帧,以及所有优化关键帧对未优化的所有关键帧进行全局优化。
如图12所示,将当前关键帧与得到的优化关键帧之间建立位姿约束,在约束关系建立之后,再利用上述用于优化的公式对未进行优化的所有关键帧进行优化。
在本实施例中,通过对回环检测成功的候选关键帧进行点云信息的合并,减少了参与全局优化的关键帧的数量,提高了全局优化的计算效率。
如图15所示,图15为本申请电子设备一实施例的结构示意图。
该电子设备包括处理器110、存储器120。
处理器110控制电子设备的操作,处理器110还可以称为CPU(Central ProcessingUnit,中央处理单元)。处理器110可能是一种集成电路芯片,具有信号序列的处理能力。处理器110还可以是通用处理器、数字信号序列处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器120存储处理器110工作所需要的指令和程序数据。
处理器110用于执行指令以实现本申请前述回环检测优化方法的任一实施例及可能的组合所提供的方法。
在一些实施例中,电子设备还可以包括其它功能模块,上述电子设备可以是机器人,例如可以为移动机器人、自动驾驶车辆等设备。
如图16所示,图16为本申请计算机可读存储装置一实施例的结构示意图。
本申请可读存储装置一实施例包括存储器210,存储器210存储有程序数据,该程序数据被执行时实现本申请回环检测优化方法任一实施例及可能的组合所提供的方法。
存储器210可以包括U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等可以存储程序指令的介质,或者也可以为存储有该程序指令的服务器,该服务器可将存储的程序指令发送给其他设备运行,或者也可以自运行该存储的程序指令。
综上所述,本申请先获取确定当前的关键帧,并进一步记录了当前关键帧的点云信息、位姿信息以及时间戳信息。而后通过当前关键帧的位姿信息和/或时间戳信息对其他的关键帧进行筛选,得到候选的关键帧集合。再将当前关键帧与候选的关键帧集合进行匹配,从而进行后续优化。通过在进行回环检测之前进行前置判断,利用当前关键帧的位姿信息和/或时间戳信息对其他的关键帧进行筛选,减少了无关关键帧的数量,降低了回环检测时对关键帧进行匹配的耗时以及误匹配率,而其中利用关键帧的位姿信息进行筛选还进一步筛除了与当前关键帧位姿不同的其他关键帧,降低了由于工作视野减小、获取数据量减少使得位姿不同的关键帧与当前关键帧回环检测匹配成功的误匹配问题发生的可能。
在本申请所提供的几个实施方式中,应该理解到,所揭露的方法以及设备,可以通过其它的方式实现。例如,以上所描述的设备实施方式仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本申请各个实施方式中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述其他实施方式中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (9)

1.一种回环检测优化方法,其特征在于,所述方法包括:
获取当前关键帧,并记录所述当前关键帧的属性信息,其中,所述属性信息包括点云信息、位姿信息和时间戳信息;
以所述当前关键帧的位置为中心按照预设范围确定一搜索区域;
判断所述搜索区域内的候选关键帧的数量是否达到预设数量阈值;
若否,跳过所述当前关键帧的回环检测;
若是,在所述当前关键帧所在区域,利用所述位姿信息和/或时间戳信息筛选得到若干候选关键帧集合,每一候选关键帧集合包括若干时间戳在预设时间阈值内的候选关键帧;
基于所述每一候选关键帧集合生成对应的栅格地图;
将所述当前关键帧的点云信息分别与所述每一候选关键帧集合对应的栅格地图进行匹配;
利用所述当前关键帧对匹配成功的候选关键帧集合内的候选关键帧进行优化。
2.根据权利要求1所述的方法,其特征在于,所述在所述当前关键帧所在区域,利用所述位姿信息和/或时间戳信息筛选得到若干候选关键帧集合,包括:
基于所述当前关键帧的时间戳信息获取所述搜索区域内满足时间条件的若干候选关键帧,并按照所述若干候选关键帧的时间戳信息进行划分,得到所述若干候选关键帧集合;
基于所述当前关键帧的位姿信息删除所述每一候选关键帧集合中不满足姿态角条件的所述候选关键帧。
3.根据权利要求2所述的方法,其特征在于,
所述时间条件为:所述当前关键帧与所述候选关键帧的时间差大于或等于第一预设时间阈值;
所述姿态角条件为:所述当前关键帧的姿态角与所述候选关键帧的姿态角的角度差小于或等于预设角度阈值。
4.根据权利要求2或3所述的方法,其特征在于,
所述若干候选关键帧集合互相之间的时间差大于或等于第二预设时间阈值。
5.根据权利要求1所述的方法,其特征在于,
所述将所述当前关键帧的点云信息分别与所述每一候选关键帧集合对应的栅格地图进行匹配,包括:
获取所述每一候选关键帧集合对应的所述栅格地图中所有候选关键帧的候选栅格点;
获取所述当前关键帧的点云信息投影在所述每一候选关键帧集合对应的所述栅格地图的投影栅格点;
计算所述候选栅格点与所述投影栅格点的重合度,利用所述重合度评价匹配结果。
6.根据权利要求5所述的方法,其特征在于,
所述利用所述当前关键帧对匹配成功的候选关键帧集合内的候选关键帧进行优化,包括:
将所述重合度高于预设重合度阈值的候选关键帧集合,作为所述匹配成功的候选关键帧集合;
获取所述当前关键帧,以及所述匹配成功的候选关键帧集合中每一关键帧的位姿信息以及协方差矩阵;
基于每两个关键帧的位姿信息,计算所述每两个关键帧的位姿变换信息;
按照所述每一关键帧的位姿信息、协方差矩阵以及所述位姿变换信息对所述匹配成功的候选关键帧集合进行局部优化。
7.根据权利要求6所述的方法,其特征在于,
所述利用所述当前关键帧对匹配成功的候选关键帧集合内的候选关键帧进行优化之后,所述方法还包括:
将局部优化后的候选关键帧集合中所有候选关键帧合并成一个优化关键帧;
基于所述当前关键帧,以及所有所述优化关键帧对未优化的所有关键帧进行全局优化。
8.一种电子设备,其特征在于,包括存储器和处理器,所述存储器用于存储程序数据,所述程序数据能够被所述处理器执行,以实现如权利要求1-7任一项所述的方法。
9.一种计算机可读存储装置,其特征在于,存储有程序数据,能够被处理器执行,以实现如权利要求1-7任一项所述的方法。
CN202211312717.0A 2022-10-25 2022-10-25 回环检测优化方法、电子设备及计算机可读存储装置 Active CN115375870B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211312717.0A CN115375870B (zh) 2022-10-25 2022-10-25 回环检测优化方法、电子设备及计算机可读存储装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211312717.0A CN115375870B (zh) 2022-10-25 2022-10-25 回环检测优化方法、电子设备及计算机可读存储装置

Publications (2)

Publication Number Publication Date
CN115375870A CN115375870A (zh) 2022-11-22
CN115375870B true CN115375870B (zh) 2023-02-10

Family

ID=84073936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211312717.0A Active CN115375870B (zh) 2022-10-25 2022-10-25 回环检测优化方法、电子设备及计算机可读存储装置

Country Status (1)

Country Link
CN (1) CN115375870B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116958267B (zh) * 2023-09-21 2024-01-12 腾讯科技(深圳)有限公司 位姿处理方法、装置、电子设备及存储介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109522832A (zh) * 2018-11-06 2019-03-26 浙江工业大学 一种基于点云片段匹配约束和轨迹漂移优化的回环检测方法
CN110533587A (zh) * 2019-07-03 2019-12-03 浙江工业大学 一种基于视觉先验信息和地图恢复的slam方法
WO2020186678A1 (zh) * 2019-03-19 2020-09-24 中国科学院深圳先进技术研究院 无人机三维地图构建方法、装置、计算机设备及存储介质
CN111784776A (zh) * 2020-08-03 2020-10-16 Oppo广东移动通信有限公司 视觉定位方法及装置、计算机可读介质和电子设备
CN111951397A (zh) * 2020-08-07 2020-11-17 清华大学 一种多机协同构建三维点云地图的方法、装置和存储介质
WO2020259248A1 (zh) * 2019-06-28 2020-12-30 Oppo广东移动通信有限公司 基于深度信息的位姿确定方法、装置、介质与电子设备
CN112362072A (zh) * 2020-11-17 2021-02-12 西安恒图智源信息科技有限责任公司 一种复杂城区环境中的高精度点云地图创建系统及方法
CN112907491A (zh) * 2021-03-18 2021-06-04 中煤科工集团上海有限公司 一种适用于井下巷道的激光点云回环检测方法及系统
CN113012212A (zh) * 2021-04-02 2021-06-22 西北农林科技大学 一种基于深度信息融合的室内场景三维点云重建方法和系统
CN113096181A (zh) * 2020-01-08 2021-07-09 纳恩博(北京)科技有限公司 设备位姿的确定方法、装置、存储介质及电子装置
CN114266821A (zh) * 2021-11-26 2022-04-01 深圳市易成自动驾驶技术有限公司 在线定位方法、装置、终端设备及存储介质
JP2022523312A (ja) * 2019-01-28 2022-04-22 キューフィールテック (ベイジン) カンパニー,リミティド Vslam方法、コントローラ及び移動可能機器
WO2022121640A1 (zh) * 2020-12-07 2022-06-16 深圳市优必选科技股份有限公司 机器人重定位方法、装置、机器人和可读存储介质
CN114724056A (zh) * 2022-02-17 2022-07-08 杭州华橙软件技术有限公司 回环检测方法、相关设备以及装置
WO2022150904A1 (en) * 2021-01-12 2022-07-21 John Zelek System and method of hybrid scene representation for visual simultaneous localization and mapping

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107610175A (zh) * 2017-08-04 2018-01-19 华南理工大学 基于半直接法和滑动窗口优化的单目视觉slam算法
CN108717710B (zh) * 2018-05-18 2022-04-22 京东方科技集团股份有限公司 室内环境下的定位方法、装置及系统
US10953545B2 (en) * 2018-08-13 2021-03-23 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for autonomous navigation using visual sparse map
CN114332221A (zh) * 2021-12-28 2022-04-12 北京易航远智科技有限公司 基于语义的回环检测方法、装置、电子设备及存储介质

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109522832A (zh) * 2018-11-06 2019-03-26 浙江工业大学 一种基于点云片段匹配约束和轨迹漂移优化的回环检测方法
JP2022523312A (ja) * 2019-01-28 2022-04-22 キューフィールテック (ベイジン) カンパニー,リミティド Vslam方法、コントローラ及び移動可能機器
WO2020186678A1 (zh) * 2019-03-19 2020-09-24 中国科学院深圳先进技术研究院 无人机三维地图构建方法、装置、计算机设备及存储介质
WO2020259248A1 (zh) * 2019-06-28 2020-12-30 Oppo广东移动通信有限公司 基于深度信息的位姿确定方法、装置、介质与电子设备
CN110533587A (zh) * 2019-07-03 2019-12-03 浙江工业大学 一种基于视觉先验信息和地图恢复的slam方法
CN113096181A (zh) * 2020-01-08 2021-07-09 纳恩博(北京)科技有限公司 设备位姿的确定方法、装置、存储介质及电子装置
CN111784776A (zh) * 2020-08-03 2020-10-16 Oppo广东移动通信有限公司 视觉定位方法及装置、计算机可读介质和电子设备
CN111951397A (zh) * 2020-08-07 2020-11-17 清华大学 一种多机协同构建三维点云地图的方法、装置和存储介质
CN112362072A (zh) * 2020-11-17 2021-02-12 西安恒图智源信息科技有限责任公司 一种复杂城区环境中的高精度点云地图创建系统及方法
WO2022121640A1 (zh) * 2020-12-07 2022-06-16 深圳市优必选科技股份有限公司 机器人重定位方法、装置、机器人和可读存储介质
WO2022150904A1 (en) * 2021-01-12 2022-07-21 John Zelek System and method of hybrid scene representation for visual simultaneous localization and mapping
CN112907491A (zh) * 2021-03-18 2021-06-04 中煤科工集团上海有限公司 一种适用于井下巷道的激光点云回环检测方法及系统
CN113012212A (zh) * 2021-04-02 2021-06-22 西北农林科技大学 一种基于深度信息融合的室内场景三维点云重建方法和系统
CN114266821A (zh) * 2021-11-26 2022-04-01 深圳市易成自动驾驶技术有限公司 在线定位方法、装置、终端设备及存储介质
CN114724056A (zh) * 2022-02-17 2022-07-08 杭州华橙软件技术有限公司 回环检测方法、相关设备以及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A Novel 3D LiDAR SLAM Based on Directed Geometry Point and Sparse Frame;Shuang Liang等;《 IEEE Robotics and Automation Letters 》;20201208;第374-381页 *
基于关键帧的点云建图方法;胡向勇等;《热带地貌》;20200625(第01期);第44-49页 *
基于局部与全局优化的双目视觉里程计算法;杨冬冬等;《计算机工程》;20180131(第01期);第1-8页 *

Also Published As

Publication number Publication date
CN115375870A (zh) 2022-11-22

Similar Documents

Publication Publication Date Title
CN111462200B (zh) 一种跨视频行人定位追踪方法、系统及设备
CN110555901B (zh) 动静态场景的定位和建图方法、装置、设备和存储介质
USRE42999E1 (en) Method and system for estimating the accuracy of inference algorithms using the self-consistency methodology
JP5487298B2 (ja) 3次元画像生成
CN111735446B (zh) 一种激光、视觉定位融合的方法及设备
CN111445526B (zh) 一种图像帧之间位姿的估计方法、估计装置和存储介质
US20180172839A1 (en) Accounting for atmospheric and terrestrial obstacles in geographic positioning
Suveg et al. Automatic 3D building reconstruction
US6963662B1 (en) Method and system for detecting changes in three dimensional shape
CN111402299B (zh) 基于静止轨道凝视卫星的遥感图像目标跟踪方法和装置
Nyaruhuma et al. Verification of 2D building outlines using oblique airborne images
CN115375870B (zh) 回环检测优化方法、电子设备及计算机可读存储装置
CN115638787B (zh) 一种数字地图生成方法、计算机可读存储介质及电子设备
CN114359476A (zh) 一种用于城市峡谷环境导航的动态3d城市模型构建方法
CN110738688A (zh) 一种新的红外超弱运动目标检测方法
CN112270748B (zh) 基于图像的三维重建方法及装置
CN112767545A (zh) 一种点云地图构建方法、装置、设备及计算机存储介质
Acharya et al. Modelling uncertainty of single image indoor localisation using a 3D model and deep learning
Leclerc et al. Measuring the self-consistency of stereo algorithms
CN116563352A (zh) 融合深度视觉信息的单线激光雷达回环检测方法及系统
WO2022252482A1 (zh) 机器人及其环境地图构建方法和装置
Croitoru et al. Monocular right-angle building hypothesis generation in regularized urban areas by pose clustering
CN112950709B (zh) 一种位姿预测方法、位姿预测装置及机器人
CN112288817B (zh) 基于图像的三维重建处理方法及装置
Al-Durgham The registration and segmentation of heterogeneous Laser scanning data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant