CN111178342A - 一种位姿图的优化方法、装置、设备及介质 - Google Patents

一种位姿图的优化方法、装置、设备及介质 Download PDF

Info

Publication number
CN111178342A
CN111178342A CN202010276971.4A CN202010276971A CN111178342A CN 111178342 A CN111178342 A CN 111178342A CN 202010276971 A CN202010276971 A CN 202010276971A CN 111178342 A CN111178342 A CN 111178342A
Authority
CN
China
Prior art keywords
pose
map
key frame
target
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010276971.4A
Other languages
English (en)
Other versions
CN111178342B (zh
Inventor
刘星
韩松杉
张弥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Sineva Intelligent Technology Co ltd
Original Assignee
Zhejiang Sineva Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Sineva Intelligent Technology Co ltd filed Critical Zhejiang Sineva Intelligent Technology Co ltd
Priority to CN202010276971.4A priority Critical patent/CN111178342B/zh
Publication of CN111178342A publication Critical patent/CN111178342A/zh
Application granted granted Critical
Publication of CN111178342B publication Critical patent/CN111178342B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明提供一种位姿图的优化方法、装置、设备及介质,用以保留用于优化位姿的闭环信息,丰富位姿图中的信息,控制位姿图的大小,减少位姿图计算资源。所述位姿图的优化方法,包括:接收机器人在预先给定的目标地图中进行自主导航时发生重定位之后的关键帧;在确定所述关键帧与所述目标地图中的任一地图帧闭环时,确定所述关键帧与该地图帧的位姿关系;根据所述关键帧与该地图帧的位姿关系,以及所述关键帧与所述位姿图中目标关键帧的位姿关系,通过空间位姿转换更新所述目标关键帧与该地图帧的位姿关系,所述目标关键帧是最近一次添加至所述位姿图中的关键帧。

Description

一种位姿图的优化方法、装置、设备及介质
技术领域
本发明涉及机器人领域,尤其涉及一种位姿图的优化方法、装置、设备及介质。
背景技术
目前,在视觉机器人自主定位和导航过程中,随着时间增加,位姿图中的关键帧不断增多,后端进行优化的时间也越来越长,并且需要消耗更多的计算资源。现有技术中,通过修改给定地图信息,保证视觉机器人在已建过图的环境中运行时的位姿图大小不变,从而实现减少后端优化时间以及计算资源的消耗。但在通常场景中,视觉机器人自主定位过程中给定地图信息是无法修改的。
因此,在给定地图信息无法修改的场景中,如何缩短视觉机器人长时间自主定位过程中后端优化时间以及减少计算资源的解决方案,是亟需解决的问题。
发明内容
本发明提供一种位姿图的优化方法、装置、设备及介质,用以保留用于优化位姿的闭环信息,丰富了位姿图中的信息,控制位姿图中关键帧的数量,控制位姿图的大小,减少位姿图所需计算资源,缩短优化时间。
本发明的技术方案如下:
根据本发明实施例的第一方面,提供一种位姿图的优化方法,包括:
接收机器人在预先给定的目标地图中进行自主导航时发生重定位之后的关键帧;
在确定关键帧与目标地图中的任一地图帧闭环时,确定关键帧与该地图帧的位姿关系;
根据关键帧与该地图帧的位姿关系,以及关键帧与位姿图中目标关键帧的位姿关系,更新目标关键帧与该地图帧的位姿关系,目标关键帧是最近一次添加至位姿图中的关键帧。
一种可能的实施方式中,本发明提供的位姿图的优化方法,在更新目标关键帧与该地图帧的位姿关系之后,方法还包括:删除关键帧。
一种可能的实施方式中,本发明提供的位姿图的优化方法,还包括:
在确定机器人在预先给定的目标地图中进行自主导航时发生重定位之前接收的关键帧与目标地图闭环、且在该关键帧之前接收的关键帧中不存在与目标地图闭环的关键帧时,将该关键帧添加至预先构建的位姿图中,并确定机器人在预先建立的目标地图的坐标系中的位姿信息。
一种可能的实施方式中,本发明提供的位姿图的优化方法,还包括:
在确定关键帧未与目标地图闭环,且已接收到的未与目标地图闭环的关键帧数量大于或等于预设数量阈值时,在已接收到的未与目标地图闭环的关键帧中,选择预设数量个关键帧添加至预先构建的位姿图中,其中,预设数量小于预设数量阈值。
一种可能的实施方式中,本发明提供的位姿图的优化方法,还包括:删除已接收到的未与目标地图闭环的关键帧。
一种可能的实施方式中,本发明提供的位姿图的优化方法,还包括:
根据本发明实施例的第二方面,提供一种位姿图的优化装置,装置包括:
接收单元,用于接收机器人在预先给定的目标地图中进行自主导航时发生重定位之后的关键帧;
处理单元,用于在确定关键帧与目标地图中的任一地图帧闭环时,确定关键帧与该地图帧的位姿关系;根据关键帧与该地图帧的位姿关系,以及关键帧与位姿图中目标关键帧的位姿关系,更新目标关键帧与该地图帧的位姿关系,目标关键帧是最近一次添加至位姿图中的关键帧。
一种可能的实施方式中,本发明提供的位姿图的优化装置,处理单元还用于:在更新目标关键帧与该地图帧的位姿关系之后,删除关键帧。
一种可能的实施方式中,本发明提供的位姿图的优化装置,处理单元还用于:
在确定机器人在预先给定的目标地图中进行自主导航时发生重定位之前接收的关键帧与目标地图闭环、且在该关键帧之前接收的关键帧中不存在与目标地图闭环的关键帧时,将该关键帧添加至预先构建的位姿图中,并确定机器人在预先建立的目标地图的坐标系中的位姿信息。
一种可能的实施方式中,本发明提供的位姿图的优化装置中,处理单元还用于:在确定关键帧未与目标地图闭环,且已接收到的未与目标地图闭环的关键帧数量大于或等于预设数量阈值时,在已接收到的未与目标地图闭环的关键帧中,选择预设数量个关键帧添加至预先构建的位姿图中,其中,预设数量小于预设数量阈值。
一种可能的实施方式中,本发明提供的位姿图的优化装置中,处理单元还用于:删除已接收到的未与目标地图闭环的关键帧。
根据本发明实施例的第三方面,提供一种位姿图的优化设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,处理器用于执行指令以实现第一方面中任一项的位姿图的优化方法。
根据本发明实施例的第四方面,一种存储介质,当存储介质中的指令由位姿图的优化设备的处理器执行时,使得位姿图的优化设备能够执行第一方面中任一项的位姿图的优化方法。
本发明的实施例提供的技术方案至少带来以下有益效果:
接收机器人在预先给定的目标地图中进行自主导航时发生重定位之后的关键帧,在确定所述关键帧与所述目标地图中的任一地图帧闭环时,确定所述关键帧与该地图帧的位姿关系,根据所述关键帧与该地图帧的位姿关系,以及所述关键帧与所述位姿图中目标关键帧的位姿关系,更新所述目标关键帧与该地图帧的位姿关系,所述目标关键帧是最近一次添加至所述位姿图中的关键帧。将与给定的目标地图闭环的已接收关键帧的闭环信息,转移到位姿图中时序最接近的关键帧上,使得与目标地图闭环的已接收关键帧的闭环信息添加至位姿图中,尽可能地保留了用于优化位姿的闭环信息,丰富了位姿图中的信息,并且不是将与目标地图闭环的已接收关键帧添加至位姿图中,控制位姿图中关键帧的数量,控制了位姿图的大小,减少了位姿图所需计算资源,缩短优化时间。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理,并不构成对本发明的不当限定。
图1是根据一示例性实施例示出的一种位姿图的优化方法的示意流程图。
图2是根据一示例性实施例示出的另一种位姿图的优化方法的示意流程图。
图3是根据一示例性示出的目标地图、位姿图、关键帧的关系图。
图4是根据一示例性示出的一种位姿图的优化装置的结构示意图。
图5是根据一示例性实施例示出的一种位姿图的优化设备示例框图。
图6是根据一示例性实施例示出的一种应用位姿图的优化方法的终端的结构框图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部份实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
图1示出了一种位姿图的优化方法的示意流程图,如图1所示,位姿图的优化方法,包括如下步骤:
步骤S101,接收机器人在预先给定的目标地图中进行自主导航时发生重定位之后的关键帧。
具体实施时,在机器人在给定地图(给定的目标地图)中进行自主导航的场景中,并且给定的目标地图为实际应用场景相关地图,目标地图的信息无法修改。机器人发生重定位之后,可以接收来自闭环检测功能模块输出的关键帧,也可以接收来自前端视觉里程计功能模块输出的关键帧,需要说明的是,本发明实施例中提供的方法,可以使用现有技术的机器人重定位方法,确定机器人发生重定位。
步骤S102,在确定关键帧与目标地图中的任一地图帧闭环时,确定关键帧与该地图帧的位姿关系。
具体实施时,目标地图中包含多个地图帧,也即地图图像,接收的关键帧与目标地图中的任一地图帧闭环,反映视觉机器人当前的视图的关键帧的位姿信息对应曾经到过或记录过的位置。
在实际应用场景中,可以采用现有技术中任一种闭环检测的方法,确定接收的关键帧与目标地图是否发生闭环,例如,关键帧与目标地图中任一个地图帧的相似度大于阈值时,确定关键帧与该地图帧发生闭环,反之,确定目标关键帧未与目标地图发生闭环。若当前接收的关键帧与目标地图中的任一地图帧闭环,可以获得当前关键帧与发生闭环的地图帧的闭环关系,实现确定接收的当前关键帧与该地图帧位姿关系。
步骤S103,根据关键帧与该地图帧的位姿关系,以及关键帧与位姿图中目标关键帧的位姿关系,通过空间位姿转换更新目标关键帧与该地图帧的位姿关系,目标关键帧是最近一次添加至位姿图中的关键帧。
具体实施时,通过当前关键帧与发生闭环的地图帧的位姿关系(也即坐标系关系),以及关键帧与目标关键帧(最近一次添加至位姿图中的关键帧)的位姿关系,可以通过空间位姿转换的方式,确定出目标关键帧与该地图帧的位姿关系,并将新确定的目标关键帧与该地图帧的位姿关系替换目标关键帧与该地图帧原来的位姿关系,实现更新目标关键帧与该地图帧的位姿关系。使得接收的关键帧与目标地图的位姿关系,更新在位姿图中已有目标关键帧与地图帧的位姿关系,不需要将接收的关键帧全部添加至位姿图中,实现更新位姿图的同时有效控制位姿图的大小,优化了位姿图。
需要说明的是,目标关键帧与当前接收的与目标地图中的任一地图闭环的关键帧具有时序约束关系,也即,在接收当前与目标地图中的任一地图闭环的关键帧之前,目标关键帧是最后添加入位姿图中的关键帧,目标关键帧与当前接收关键帧存在闭环关系的地图帧可以存在闭环关系,也可以不存在闭环关系。若目标关键帧与该地图帧此前没有位姿关系,更新目标关键帧与该地图帧的位姿关系时,可直接生成为目标关键帧与该地图帧的位姿关系。若目标关键帧与该地图帧此前有位姿关系,更新目标关键帧与该地图帧的位姿关系时,可替换掉原有的目标关键帧与该地图帧的位姿关系。
一种可能的实施方式中, 在更新目标关键帧与该地图帧的位姿关系后,还可以将接收的当前关键帧删除,减少存储关键帧的计算、存储资源。
在实际应用场景中,为使位姿图中关键帧的位姿信息更为准确,减少视觉机器人长时间自主定位或导航造成的累积误差,还可以在确定机器人在预先给定的目标地图中进行自主导航时发生重定位之前接收的关键帧与目标地图闭环、且在该关键帧之前接收的关键帧中不存在与目标地图闭环的关键帧时,将该关键帧添加至预先构建的位姿图中,并确定机器人在预先建立的目标地图的坐标系中的位姿信息。
具体实施时,在机器人在预先给定的目标地图中进行自主导航时发生重定位之前,针对后端实时接收关键帧,检测该关键帧是否与目标地图发生闭环,确定该关键帧与目标地图中任一地图帧发生闭环时,并且此前接收的其他关键帧与目标地图未发生闭环,将该关键帧添加至预先构建的位姿图中,并确定机器人在预先建立的目标地图的坐标系中的位姿信息,实现机器人重定位过程。因重定位成功,消除视觉机器人长时间自主定位或导航造成的累积误差,使接收的关键帧的位姿信息更为准确,提升优化效果,提高定位准确度。
一种可能的实施方式中,在确定关键帧未与目标地图闭环,且已接收到的未与目标地图闭环的关键帧数量大于或等于预设数量阈值时,在已接收到的未与目标地图闭环的关键帧中,选择预设数量个关键帧添加至预先构建的位姿图中,其中,预设数量小于预设数量阈值。
具体实施时,确定接收的关键帧未与目标地图发生闭环,反映视觉机器人当前的视图的关键帧的位姿信息对应未曾到过或记录过的位置,其中,关键帧未与目标地图闭环是指关键帧与目标地图中的全部地图帧均不存在闭环关系。在视觉机器人自主定位和导航,随着时间积累,关键帧的数量也不断增多所接收的关键帧未与目标地图闭环的关键帧的数量大于等于预设数量阈值时,在这些已接收关键帧且均未与目标地图闭环的关键帧中,选择预设数量个关键帧添加至位姿图中,使得只向位姿图中添加预设数量个未与目标地图闭环的关键帧,并且,预设数量的数值小于关键帧数量阈值,通过控制视觉机器人自主定位和导航过程中位姿图中的关键帧的数量,而不是将全部接收的关键帧添加至位姿图中,由于有效控制位姿图中的关键帧数量,实现对位姿图的大小的优化,利于减少优化位姿图的时间。
在实际应用场景中,可以在已接收关键帧且均未与目标地图中的关键帧闭环的关键帧中,选择预设数量个关键帧。以预设数量为1为例,已接收关键帧且均未与目标地图中的关键帧闭环的关键帧的数量为50,那么在这50个关键帧中随机选择一个关键帧添加至位姿图中。或者,根据接收次序选择一个关键帧。例如,已接收关键帧且均未与目标地图中的关键帧闭环的关键帧的数量为30,可以指定这30个关键帧中,第30个接收到的关键帧为被选择添加至位姿图中的关键帧,或者指定这30个关键帧中,接收次序的中位数对应的关键帧为被选择添加至位姿图中的关键帧。
在视觉机器人自主定位和导航过程中,预设数量阈值可以是动态变化的数值,也可以是静态固定的数值。其中,关键帧数量阈值是静态固定的数值时,可以根据实际应用场景中接收关键帧的速度预设关键数量阈值,例如,50。
预设数量阈值是动态变化的数值时,可以根据位姿图占用资源的大小确定,位姿图占用计算、存储资源较大时,预设数量阈值也随之变大,位姿图占用计算、存储资源较小时,预设数量阈值也随之变小,还可以预设位姿图占用资源与预设数量阈值的对应关系,按照对应关系,根据位姿图占用资源的大小,确定预设数量阈值。
一种可能的实施方式中,在已接收到的未与目标地图闭环的关键帧中,选择预设数量个关键帧添加至预先构建的位姿图中之后,删除已接收到的未与目标地图闭环的关键帧。删除了其他未与目标地图中的关键帧闭环的关键帧,减少存储关键帧的存储资源以及计算资源的占用。
图2示出了另一种位姿图的优化方法的示意流程图,如图2所示,位姿图的优化方法,包括如下步骤:
步骤S201,接收关键帧。
具体实施时,接收机器人在预先给定的目标地图中进行自主导航时发生重定位之后的关键帧。
步骤S202,在确定关键帧与目标地图闭环、且在关键帧之前接收的关键帧中不存在与目标地图闭环的关键帧时,将关键帧添加至预先构建的位姿图中,并确定机器人在预先建立的目标地图的坐标系中的位姿信息。
具体实施时,接收关键帧可以视为已接收关键帧,检测已接收关键帧是否为与目标地图闭环,并且之前接收的关键帧中没有与该目标地图发生闭环,可以确定已接收关键帧为首个与目标地图发生闭环的关键帧,确定机器人在预先建立的目标地图的坐标系中的位姿信息,完成机器人重定位,确定机器人在目标地图坐标系中的位姿信息,可以减少视觉机器人长时间自主定位和导航过程中累积的误差,使得位姿图中关键帧的位姿信息更为准确。
需要说明的是,步骤S202在位姿图的优化过程中仅实施一次,也即重定位的过程仅进行一次,并且执行步骤S202后,不执行步骤S203,而是再次执行步骤S201接收关键帧后,直接执行步骤S203。
步骤S203,判断关键帧与目标地图闭环,若否,下一步执行步骤S204,否则,下一步执行步骤S205。
具体实施时,可以采用现有视觉机器人闭环检测技术,确定关键帧是否与目标地图发生闭环,若关键帧未与目标地图中地图帧闭环,下一步执行步骤S204,对未与目标地图闭环的已接收关键帧进行进一步判断,反之,若目标关键帧与目标地图闭环,下一步执行步骤S205,对当前接收的关键帧进行处理。
步骤S204,判断已接收到的未与目标地图闭环的关键帧数量大于或等于预设数量阈值,若是,下一步执行步骤S206,否则,下一步执行步骤S201。
具体实施时,对未与目标地图闭环的已接收关键帧进行控制时,判断未与目标地图闭环的已接收关键帧的数量是否大于或等于预设数量阈值,其中预设帧数量阈值可以是预先设置的数量阈值,也可以是根据位姿图大小确定的数量阈值。
需要说明的是,步骤S204中未与目标地图闭环的已接收关键帧为暂时存储(未被删除的)的已接收关键帧,可以存储在缓存队列中。另外,被删除的已接收关键帧,不记为已接收关键帧。
步骤S205,根据关键帧与该地图帧的位姿关系,以及关键帧与位姿图中目标关键帧的位姿关系,通过空间位姿转换更新目标关键帧与该地图帧的位姿关系,目标关键帧是最近一次添加至位姿图中的关键帧。
具体实施时,确定关键帧与目标地图的地图帧闭环时,将关键帧与该地图帧的闭环约束关系,转移到目标关键帧(最近一次添加至位姿图中的关键帧),更新目标关键帧与目标地图中该地图帧的闭环约束关系。
例如,根据关键帧与该地图帧的位姿关系(位姿转换关系),以及关键帧与目标关键帧的位姿关系,可以通过空间位姿转换确定目标关键帧与该地图帧的位姿关系,并将新确定的位姿关系更新为位姿图中目标关键帧与该地图帧的位姿关系。
如图3所示,目标地图中包括多个地图帧,本发明实施例中的目标关键帧为在第一关键帧之前接收的关键帧,并且也是最近一次添加入位姿图中的关键帧。在接收的关键帧与目标地图中发生闭环时,可以确定接收的关键帧与目标地图中发生闭环的地图帧的闭环约束关系(闭环位姿关系)。
第一关键帧与目标地图中的第一地图帧发生闭环时,根据第一关键帧与第一地图帧的闭环位姿关系,以及第一关键帧与目标关键帧的位姿关系(序列位姿关系),确定出目标关键帧与第一地图帧的位姿关系,更新为目标关键帧与第一地图帧的位姿关系(更新后的闭环位姿关系),更新原有的目标关键帧与第一地图帧的闭环位姿关系,使得第一关键帧的闭环信息保留。并且,在此之后还可以删除第一关键帧,减少资源浪费。
步骤S206,在已接收到的未与目标地图闭环的关键帧中,选择预设数量个关键帧添加至预先构建的位姿图中。
具体实施时,确定关键帧未与目标地图闭环时,可将关键帧与其他未与目标地图闭环的已接收关键帧一同暂时存储起来(例如,存储在缓存队列中)。并确定未与目标地图闭环的已接收关键帧(暂时存储的已接收关键帧)的数量大于或等于预设数量阈值时,从未与目标地图闭环的已接收关键帧中选择预设数量个关键帧添加至位姿图中,如图3中所示,以预设数量是1为例,从未与目标地图闭环的已接收关键帧中(图3中示出的暂时存储的关键帧),选择一个关键帧(图3中灰色标记的关键帧),添加至位姿图中。
步骤S207,删除未与目标地图闭环的关键帧。
具体实施时,可以将暂时存储未与目标地图闭环的已接收关键帧的缓存队列清空,如图3中示出的暂时存储框图中白色标记的关键帧被删除。
步骤S208,删除关键帧。
具体实施时,由于当前接收的关键帧与目标地图的位姿关系转移到位姿图中目标关键帧与目标地图的位姿关系,无需将当前接收的关键帧添加至位姿图中,也不需要存储该关键帧,可以将关键帧删除,节省计算、存储资源。
在实际应用场景中,实施本发明实施例中的位姿图的优化方法时,针对接收的每一个关键帧,若该关键帧与目标地图闭合,将该关键帧的闭合约束关系转移到前一个与目标地图中同一地图帧闭合的关键帧与目标地图的闭合约束关系,并删除当前关键帧。若该关键帧未与目标地图闭合,将该关键帧暂时存储,当未与目标地图闭合的关键帧的数量大于或等于预设数量阈值时,从暂时存储的未与目标地图闭合的关键帧中选取预设数量个关键帧添加至位姿图中,并删除暂时存储的未与目标地图闭合的关键帧。
图4示出了一种位姿图的优化装置的结构示意图,如图4所示,位姿图的优化装置,包括:
接收单元401,用于接收机器人在预先给定的目标地图中进行自主导航时发生重定位之后的关键帧;
处理单元402,用于在确定关键帧与目标地图中的任一地图帧闭环时,确定关键帧与该地图帧的位姿关系;
根据关键帧与该地图帧的位姿关系,以及关键帧与位姿图中目标关键帧的位姿关系,通过空间位姿转换更新目标关键帧与该地图帧的位姿关系,目标关键帧是最近一次添加至位姿图中的关键帧。
一种可能的实施方式中,本发明提供的位姿图的优化装置中,处理单元402还用于:在更新目标关键帧与该地图帧的位姿关系之后,删除关键帧。
一种可能的实施方式中,本发明提供的位姿图的优化装置,处理单元402还用于:
在确定关键帧与目标地图闭环、且在关键帧之前接收的关键帧中不存在与目标地图闭环的关键帧时,将关键帧添加至预先构建的位姿图中,并确定机器人在预先建立的目标地图的坐标系中的位姿信息。
一种可能的实施方式中,本发明提供的位姿图的优化装置中,处理单元402还用于:
在确定关键帧未与目标地图闭环,且已接收到的未与目标地图闭环的关键帧数量大于或等于预设数量阈值时,在已接收到的未与目标地图闭环的关键帧中,选择预设数量个关键帧添加至预先构建的位姿图中,其中,预设数量小于预设数量阈值。
一种可能的实施方式中,本发明提供的位姿图的优化装置中,处理单元402还用于:删除已接收到的未与目标地图闭环的关键帧。
基于上述本发明实施例相同构思,图5是根据一示例性实施例示出的位姿图的优化设备500的框图,如图5所示,本发明实施例示出的位姿图的优化设备500包括:
处理器510;
用于存储处理器510可执行指令的存储器520;
其中,处理器510被配置为执行指令,以实现本发明实施例中位姿图的优化方法。
在示例性实施例中,还提供了一种包括指令的存储介质,例如包括指令的存储器520,上述指令可由位姿图的优化装置的处理器510执行以完成上述方法。可选地,存储介质可以是非临时性计算机可读存储介质,例如,非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
另外,结合图1-4所描述的本发明实施例提供的位姿图的优化方法及装置可以由位姿图的优化设备来实现。图6示出了本发明实施例提供的位姿图的优化设备结构示意图。
该位姿图的优化设备可以包括处理器601以及存储有计算机程序指令的存储器602。
具体地,上述处理器601可以包括中央处理器(CPU),或者特定集成电路(Application Specific Integrated Circuit,ASIC),或者可以被配置成实施本发明实施例的一个或多个集成电路。
存储器602可以包括用于存储数据或指令的大容量存储器。举例来说而非限制,存储器602可包括硬盘驱动器(Hard Disk Drive,HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus,USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器602可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器602可在数据处理装置的内部或外部。在特定实施例中,存储器602是非易失性固态存储器。在特定实施例中,存储器602包括只读存储器(ROM)。在合适的情况下,该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器601通过读取并执行存储器602中存储的计算机程序指令,以实现上述实施例中的位姿图的优化方法。
在一个示例中,该位姿图的优化设备还可包括通信接口603和总线610。其中,如图6所示,处理器601、存储器602、通信接口603通过总线610连接并完成相互间的通信。
通信接口603,主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。
总线610包括硬件、软件或两者,将该位姿图的优化设备的部件彼此耦接在一起。举例来说而非限制,总线可包括加速图形端口(AGP)或其它图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其它合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线610可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线,但本发明考虑任何合适的总线或互连。
另外,结合上述实施例中的位姿图的优化方法,本发明实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令;该计算机程序指令被处理器执行时实现上述实施例中的任意一项位姿图的优化方法。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上,使得在计算机或其它可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (12)

1.一种位姿图的优化方法,其特征在于,所述方法包括:
接收机器人在预先给定的目标地图中进行自主导航时发生重定位之后的关键帧;
在确定所述关键帧与所述目标地图中的任一地图帧闭环时,确定所述关键帧与该地图帧的位姿关系;
根据所述关键帧与该地图帧的位姿关系,以及所述关键帧与所述位姿图中目标关键帧的位姿关系,通过空间位姿转换更新所述目标关键帧与该地图帧的位姿关系,所述目标关键帧是最近一次添加至所述位姿图中的关键帧。
2.根据权利要求1所述的方法,其特征在于,在更新所述目标关键帧与该地图帧的位姿关系之后,所述方法还包括:删除所述关键帧。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在确定所述机器人在预先给定的目标地图中进行自主导航时发生重定位之前接收的关键帧与所述目标地图闭环、且在该关键帧之前接收的关键帧中不存在与所述目标地图闭环的关键帧时,将该关键帧添加至预先构建的位姿图中,并确定所述机器人在预先建立的所述目标地图的坐标系中的位姿信息。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在确定所述关键帧未与所述目标地图闭环,且已接收到的未与所述目标地图闭环的关键帧数量大于或等于预设数量阈值时,在已接收到的未与所述目标地图闭环的关键帧中,选择预设数量个关键帧添加至预先构建的位姿图中,其中,所述预设数量小于所述预设数量阈值。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:删除所述已接收到的未与所述目标地图闭环的关键帧。
6.一种位姿图的优化装置,其特征在于,所述装置包括:
接收单元,用于接收机器人在预先给定的目标地图中进行自主导航时发生重定位之后的关键帧;
处理单元,用于在确定所述关键帧与所述目标地图中的任一地图帧闭环时,确定所述关键帧与该地图帧的位姿关系;
根据所述关键帧与该地图帧的位姿关系,以及所述关键帧与所述位姿图中目标关键帧的位姿关系,通过空间位姿转换更新所述目标关键帧与该地图帧的位姿关系,所述目标关键帧是最近一次添加至所述位姿图中的关键帧。
7.根据权利要求6所述的装置,其特征在于,所述处理单元还用于:在更新所述目标关键帧与该地图帧的位姿关系之后,删除所述关键帧。
8.根据权利要求6所述的装置,其特征在于,所述处理单元还用于:
在确定所述机器人在预先给定的目标地图中进行自主导航时发生重定位之前接收的关键帧与所述目标地图闭环、且在该关键帧之前接收的关键帧中不存在与所述目标地图闭环的关键帧时,将该关键帧添加至预先构建的位姿图中,并确定所述机器人在预先建立的所述目标地图的坐标系中的位姿信息。
9.根据权利要求6所述的装置,其特征在于,所述处理单元还用于:
在确定所述关键帧未与所述目标地图闭环,且已接收到的未与所述目标地图闭环的关键帧数量大于或等于预设数量阈值时,在已接收到的未与所述目标地图闭环的关键帧中,选择预设数量个关键帧添加至预先构建的位姿图中,其中,所述预设数量小于所述预设数量阈值。
10.根据权利要求9所述的装置,其特征在于,所述处理单元还用于:删除所述已接收到的未与所述目标地图闭环的关键帧。
11.一种位姿图的优化设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器用于执行所述指令以实现如权利要求1至5中任一项所述的位姿图的优化方法。
12.一种存储介质,其特征在于,当所述存储介质中的指令由位姿图的优化设备的处理器执行时,使得所述位姿图的优化设备能够执行如权利要求1至5中任一项所述的位姿图的优化方法。
CN202010276971.4A 2020-04-10 2020-04-10 一种位姿图的优化方法、装置、设备及介质 Active CN111178342B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010276971.4A CN111178342B (zh) 2020-04-10 2020-04-10 一种位姿图的优化方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010276971.4A CN111178342B (zh) 2020-04-10 2020-04-10 一种位姿图的优化方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN111178342A true CN111178342A (zh) 2020-05-19
CN111178342B CN111178342B (zh) 2020-07-07

Family

ID=70647833

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010276971.4A Active CN111178342B (zh) 2020-04-10 2020-04-10 一种位姿图的优化方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN111178342B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111882494A (zh) * 2020-06-28 2020-11-03 广州文远知行科技有限公司 位姿图处理方法、装置、计算机设备和存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160068114A1 (en) * 2014-09-03 2016-03-10 Sharp Laboratories Of America, Inc. Methods and Systems for Mobile-Agent Navigation
CN105783913A (zh) * 2016-03-08 2016-07-20 中山大学 一种融合车载多传感器的slam装置及其控制方法
CN105974932A (zh) * 2016-04-27 2016-09-28 中国人民解放军装甲兵工程学院 无人机控制方法
CN107869989A (zh) * 2017-11-06 2018-04-03 东北大学 一种基于视觉惯导信息融合的定位方法及系统
US20190056501A1 (en) * 2017-08-15 2019-02-21 Baidu Online Network Technology (Beijing) Co., Ltd Method and apparatus for constructing reflectance map
US20190066351A1 (en) * 2017-08-31 2019-02-28 Korea Advanced Institute Of Science And Technology Motion retargeting method for character animation and apparatus thererof
CN110070615A (zh) * 2019-04-12 2019-07-30 北京理工大学 一种基于多相机协同的全景视觉slam方法
CN110189373A (zh) * 2019-05-30 2019-08-30 四川长虹电器股份有限公司 一种基于视觉语义信息的快速重定位方法及装置
CN110243370A (zh) * 2019-05-16 2019-09-17 西安理工大学 一种基于深度学习的室内环境三维语义地图构建方法
CN110378997A (zh) * 2019-06-04 2019-10-25 广东工业大学 一种基于orb-slam2的动态场景建图与定位方法
CN110555901A (zh) * 2019-09-05 2019-12-10 亮风台(上海)信息科技有限公司 动静态场景的定位和建图方法、装置、设备和存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160068114A1 (en) * 2014-09-03 2016-03-10 Sharp Laboratories Of America, Inc. Methods and Systems for Mobile-Agent Navigation
CN105783913A (zh) * 2016-03-08 2016-07-20 中山大学 一种融合车载多传感器的slam装置及其控制方法
CN105974932A (zh) * 2016-04-27 2016-09-28 中国人民解放军装甲兵工程学院 无人机控制方法
US20190056501A1 (en) * 2017-08-15 2019-02-21 Baidu Online Network Technology (Beijing) Co., Ltd Method and apparatus for constructing reflectance map
US20190066351A1 (en) * 2017-08-31 2019-02-28 Korea Advanced Institute Of Science And Technology Motion retargeting method for character animation and apparatus thererof
CN107869989A (zh) * 2017-11-06 2018-04-03 东北大学 一种基于视觉惯导信息融合的定位方法及系统
CN110070615A (zh) * 2019-04-12 2019-07-30 北京理工大学 一种基于多相机协同的全景视觉slam方法
CN110243370A (zh) * 2019-05-16 2019-09-17 西安理工大学 一种基于深度学习的室内环境三维语义地图构建方法
CN110189373A (zh) * 2019-05-30 2019-08-30 四川长虹电器股份有限公司 一种基于视觉语义信息的快速重定位方法及装置
CN110378997A (zh) * 2019-06-04 2019-10-25 广东工业大学 一种基于orb-slam2的动态场景建图与定位方法
CN110555901A (zh) * 2019-09-05 2019-12-10 亮风台(上海)信息科技有限公司 动静态场景的定位和建图方法、装置、设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
文国成: "基于关键帧的闭环检测和地图优化研究", 《中国优秀硕士论文全文数据库》 *
陈超等: "一种基于三维视觉的移动机器人定位与建图方法", 《现代电子技术》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111882494A (zh) * 2020-06-28 2020-11-03 广州文远知行科技有限公司 位姿图处理方法、装置、计算机设备和存储介质
CN111882494B (zh) * 2020-06-28 2024-05-14 广州文远知行科技有限公司 位姿图处理方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN111178342B (zh) 2020-07-07

Similar Documents

Publication Publication Date Title
CN109188457B (zh) 物体检测框的生成方法、装置、设备、存储介质及车辆
CN109141393B (zh) 重定位方法、设备及存储介质
US11037301B2 (en) Target object detection method, readable storage medium, and electronic device
CN109756845B (zh) 网络约车场景中作弊订单的识别方法和装置
CN113971727A (zh) 一种语义分割模型的训练方法、装置、设备和介质
CN113392794B (zh) 车辆跨线识别方法、装置、电子设备和存储介质
CN111178342B (zh) 一种位姿图的优化方法、装置、设备及介质
CN111814746A (zh) 一种识别车道线的方法、装置、设备及存储介质
CN109697725B (zh) 一种背景过滤方法、装置及计算机可读存储介质
CN113112542A (zh) 一种视觉定位方法、装置、电子设备及存储介质
CN110705531A (zh) 缺失字符检测、缺失字符检测模型的建立方法及装置
CN110478906B (zh) 投射物运行轨迹处理方法及装置
CN109118494B (zh) 一种基于凹点匹配的重叠区域分割方法及装置
CN116166583B (zh) 一种数据精度的转换方法、装置、dma控制器及介质
CN104978731A (zh) 一种信息处理方法及电子设备
CN110222652B (zh) 行人检测方法、装置及电子设备
CN116481513A (zh) 地图生成方法、装置、电子设备
CN114285114A (zh) 一种充电控制方法、装置、电子设备和存储介质
CN109636877B (zh) 车道线调整处理方法、装置及电子设备
CN108664284B (zh) 基于多细节层次技术进行场景显示的方法及存储介质
CN112929701A (zh) 一种视频编码方法、装置、设备及介质
CN112837349A (zh) 一种目标跟踪方法、设备及计算机可读存储介质
CN108038863B (zh) 图像分割方法及装置
CN114219907B (zh) 三维地图生成方法、装置、设备以及存储介质
CN116558540B (zh) 模型训练方法和装置、轨迹生成方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant