CN111882494A - 位姿图处理方法、装置、计算机设备和存储介质 - Google Patents
位姿图处理方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN111882494A CN111882494A CN202010598302.9A CN202010598302A CN111882494A CN 111882494 A CN111882494 A CN 111882494A CN 202010598302 A CN202010598302 A CN 202010598302A CN 111882494 A CN111882494 A CN 111882494A
- Authority
- CN
- China
- Prior art keywords
- key frame
- frame
- constraint
- pose
- pose graph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000004590 computer program Methods 0.000 claims description 14
- 230000000694 effects Effects 0.000 description 11
- 238000005457 optimization Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 2
- 230000000452 restraining effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请涉及一种位姿图处理方法、装置、计算机设备和存储介质。所述方法包括:对构成初始位姿图的各帧进行约束操作,得到第一位姿图;确定第一位姿图中的关键帧,并根据关键帧对应的时间间隔和空间距离从关键帧中确定出目标关键帧;对目标关键帧进行位置约束操作和/或姿态约束操作,得到约束后的位姿图。采用本方法通过对构成初始位姿图的各帧进行约束操作,能够平滑掉初始位姿图的各帧的误差,使得到的第一位姿图的局部范围内帧的位姿一致性得到了提高,对目标关键帧进行位置约束操作和/或姿态约束操作,平滑掉目标关键帧中的误差,提高了得到的约束后的位姿图的精度。
Description
技术领域
本申请涉及机器视觉技术领域,特别是涉及一种位姿图处理方法、装置、计算机设备和存储介质。
背景技术
随着无人驾驶技术的发展,位姿图在无人驾驶技术中起着十分重要的作用,但由于获取初始位姿的传感器存在误差,使得到的位姿图不够精确,存在误差,因此,就需要对位姿图进行优化,把某些局部的误差平均掉,保证各处的误差都比较小。传统技术中,对位姿图的优化主要是是通过采用卡尔曼滤波等优化算法对位姿图进行优化,得到优化后的位姿图。
然而,传统的位姿图处理方法,存在优化精度较低的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高位姿图的优化精度的位姿图处理方法、装置、计算机设备和存储介质。
一种位姿图处理方法,所述方法包括:
对构成初始位姿图的各帧进行约束操作,得到第一位姿图;
确定所述第一位姿图中的关键帧,并根据所述关键帧对应的时间间隔和/或空间距离从所述关键帧中确定出目标关键帧;
对所述目标关键帧进行位置约束操作和/或姿态约束操作,得到约束后的位姿图。
在其中一个实施例中,所述对所述目标关键帧进行位置约束操作,包括:
根据所述目标关键帧的优先级顺序,对所述目标关键帧进行位置约束;所述优先级顺序是根据定位信号的精度和持续时长确定的。
在其中一个实施例中,所述根据所述目标关键帧的优先级顺序,对所述目标关键帧进行位置约束,包括:
根据所述目标关键帧的优先级顺序,确定当前关键帧;
为所述当前关键帧生成虚拟地标,在所述虚拟地标与所述当前关键帧之间加三维位置约束。
在其中一个实施例中,所述对所述目标关键帧进行姿态约束操作,包括:
在所述目标关键帧的预设方向生成平行虚拟地标,在所述平行虚拟地标与所述目标关键帧之间加六维位姿约束。
在其中一个实施例中,所述对构成初始位姿图的各帧进行约束操作,得到第一位姿图,包括:
对构成所述初始位姿图的各帧进行匹配,得到各帧的匹配结果;
对所述各帧的匹配结果做包内顺序匹配约束,得到所述第一位姿图。
在其中一个实施例中,所述对构成初始位姿图的各帧进行约束操作,得到第一位姿图之前,所述方法还包括:
将预设角度范围内的激光点云数据组合为一帧数据,并对各帧数据和对应的位置数据与姿态数据进行融合,形成各帧的位姿;
对所述各帧的位姿进行组合,得到所述初始位姿图。
在其中一个实施例中,所述方法还包括:
根据所述目标关键帧,在预设的数据库中获取构成所述第一位姿图的各帧的回环匹配结果;
根据所述回环匹配结果,对所述目标关键帧进行包间回环匹配约束。
一种位姿图处理装置,所述装置包括:
第一约束模块,用于对构成初始位姿图的各帧进行约束操作,得到第一位姿图;
确定模块,用于确定所述第一位姿图中的关键帧,并根据所述关键帧对应的时间间隔和/或空间距离从所述关键帧中确定出目标关键帧;
第二约束模块,用于对所述目标关键帧进行位置约束操作和/或姿态约束操作,得到约束后的位姿图。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
对构成初始位姿图的各帧进行约束操作,得到第一位姿图;
确定所述第一位姿图中的关键帧,并根据所述关键帧对应的时间间隔和/或空间距离从所述关键帧中确定出目标关键帧;
对所述目标关键帧进行位置约束操作和/或姿态约束操作,得到约束后的位姿图。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
对构成初始位姿图的各帧进行约束操作,得到第一位姿图;
确定所述第一位姿图中的关键帧,并根据所述关键帧对应的时间间隔和/或空间距离从所述关键帧中确定出目标关键帧;
对所述目标关键帧进行位置约束操作和/或姿态约束操作,得到约束后的位姿图。
上述位姿图处理方法、装置、计算机设备和存储介质,通过对构成初始位姿图的各帧进行约束操作,能够平滑掉初始位姿图的各帧的误差,使得到的第一位姿图的局部范围内帧的位姿一致性得到了提高,这样可以从得到的第一位姿图中确定出关键帧,并能够根据关键帧对应的时间间隔和/或空间距离从关键帧中确定出目标关键帧,进而可以对目标关键帧进行位置约束操作和/或姿态约束操作,平滑掉目标关键帧中的误差,从而提高了得到的约束后的位姿图的精度。
附图说明
图1为一个实施例中位姿图处理方法的应用环境图;
图2为一个实施例中位姿图处理方法的流程示意图;
图3为另一个实施例中位姿图处理方法的流程示意图;
图4为另一个实施例中位姿图处理方法的流程示意图;
图5为另一个实施例中位姿图处理方法的流程示意图;
图6为一个实施例中位姿图处理装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的位姿图处理方法,可以适用于如图1所示的计算机设备。该计算机设备包括通过系统总线连接的处理器、存储器,该存储器中存储有计算机程序,处理器执行该计算机程序时可以执行下述方法实施例的步骤。可选的,该计算机设备还可以包括网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器,该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。可选的,该计算机设备可以是服务器,可以是个人计算机,还可以是个人数字助理,还可以是其他的终端设备,例如平板电脑、手机等等,还可以是云端或者远程服务器,本申请实施例对计算机设备的具体形式并不做限定。
在一个实施例中,如图2所示,提供了一种位姿图处理方法,以该方法应用于图1中的计算机设备为例进行说明,包括以下步骤:
S201,对构成初始位姿图的各帧进行约束操作,得到第一位姿图。
其中,位姿图包括空间点云数据的位置和姿态,位姿是一个六维的向量,包含三个位置(X,Y,Z)和三个姿态角(航向,俯仰,横滚)。初始的位置是通过GPS(Globalpositioning System,全球定位系统)每秒采集一个位置信息,然后通过惯性导航系统对位置信息进行加密(每秒100个位置信息)得到的;初始的姿态来自于惯性导航系统、轮速机等传感器。初始位姿图是将采集的激光点云数据组合为帧,并对所组合的各帧内插位置与姿态所形成的。
具体地,计算机设备对构成初始位姿图的各帧进行约束操作,得到第一位姿图。可选的,计算机设备可以对构成初始位姿图的各帧进行包内顺序匹配约束操作,得到第一位姿图。需要说明的是,初始位姿图里各个位姿之间还没有加约束,是相互独立的,各个位姿有其各自的误差;而通过对构成初始位姿图的各帧进行约束操作,得到的第一位姿图平滑掉了随机误差。
S202,确定第一位姿图中的关键帧,并根据关键帧对应的时间间隔和/或空间距离从关键帧中确定出目标关键帧。
具体地,计算机设备确定第一位姿图中的关键帧,并根据该关键帧对应的时间间隔和空间距离从该关键帧中确定出目标关键帧。可以理解的是,因为地图数据是海量数据,如果对这些海量数据都进行处理容易导致计算机出现内存处理缓慢的问题,因此,有必要从这些海量数据中抽取一些关键帧,对这些关键帧进行处理,既能使对位姿图的处理进行下去,也能够提高得到的处理后的位姿图的精度。可以理解的是,构成初始位姿图的某帧的前一帧或者后一帧,已经进行了约束操作,因此,可以将这些点排除在外,从确定的第一位姿图中的关键帧中确定出目标关键帧,从而对确定出的目标关键帧进行其他的约束操作。可选的,计算机设备可以将第一位姿图中每间隔一定距离的帧确定为第一位姿图中的关键帧,或者,也可以是按照预设的帧数量或者时间段间隔取关键帧,并将确定的关键帧对应的时间间隔满足预设的时间阈值和/或空间距离满足预设的距离阈值的关键帧确定为目标关键帧。可选的,计算机设备可以将确定的关键帧中时间间隔大于预设的时间阈值,以及空间距离小于预设的距离阈值所对应的关键帧,确定为目标关键帧。
S203,对目标关键帧进行位置约束操作和/或姿态约束操作,得到约束后的位姿图。
具体地,计算机设备对确定出的目标关键帧进行位置约束操作和/或姿态约束操作,得到约束后的位姿图。可以理解的是,位姿图中没有交汇的关键帧(例如,拐弯处的关键帧)因为没有约束可能会出现偏离真实轨迹较远的情况,若将来在此没有交汇关键帧处产生新的交汇帧,会出现与旧版本地图全然对不上的情况的发生,需要对位姿图中的关键帧加一些位置约束操作,保证在任何地方关键帧都不会偏离真实位置太远,位置约束操作可以有效地抑制位置、航向角和俯仰角的积累误差,可选的,在进行了位置约束操作的基础上,还可以对第一位姿图中的关键帧进行横滚约束,以对第一位姿图中的姿态进行约束。或者,计算机设备可以对第一位姿图中的位置或者姿态中的一个进行约束。但如果对所有的关键帧都进行位置约束操作和/或姿态约束操作,可能会使各关键帧的误差相互冲突,使得到的约束后的位姿图看着比较模糊,因此,可以选择只对一些目标关键帧进行位置约束。可选的,计算机设备可以根据初始位姿图中采集位置信息的GPS精度信息对目标关键帧进行位置约束操作,得到约束后的位姿图。可选的,计算机设备可以对目标关键帧进行横滚角约束对目标关键帧进行姿态约束操作,得到约束后的位姿图。这里需要说明的是,通过对目标关键帧进行位置约束操作和/或姿态约束操作,使得到的约束后的位姿图平滑掉了位姿图中各个位姿的积累误差。
上述位姿图处理方法中,计算机设备通过对构成初始位姿图的各帧进行约束操作,能够平滑掉初始位姿图的各帧的误差,使得到的第一位姿图的局部范围内帧的位姿一致性得到了提高,这样可以从得到的第一位姿图中确定出关键帧,并能够根据关键帧对应的时间间隔和空间距离从关键帧中确定出目标关键帧,进而可以对目标关键帧进行位置约束操作和/或姿态约束操作,平滑掉目标关键帧中的误差,从而提高了得到的约束后的位姿图的精度。
在上述对目标关键帧进行位置约束操作的场景中,计算机设备可以根据目标关键帧的优先级顺序,对目标关键帧进行位置约束。在一个实施例中,上述S203中的对目标关键帧进行位置约束操作,包括:根据目标关键帧的优先级顺序,对目标关键帧进行位置约束;优先级顺序是根据定位信号的精度和持续时长确定的。
具体地,计算机设备根据上述确定的目标关键帧的优先级顺序,对目标关键帧进行位置约束。其中,目标关键帧的优先级顺序是根据定位信号的精度和持续时长确定的。示例性地,以确定的目标关键帧为5个关键帧为例,分别为第1关键帧、第2关键帧、第3关键帧、第4关键帧和第5关键帧,其中,第1关键帧的定位信号的精度为90%,持续时长为30分钟,第2关键帧的定位信号的精度为70%,持续时长为10分钟,第3关键帧的定位信号的精度为60%,持续时长为5分钟,第4关键帧的定位信号的精度为80%,持续时长为25分钟,第5关键帧的定位信号精度为50%,持续时长为3分钟,则这5个目标关键帧的优先级顺序为:第1关键帧>第4关键帧>第2关键帧>第3关键帧>第5关键帧。示例性地,计算机设备首先选择定位信号的精度最高,持续时长最长的目标关键帧进行位置约束,然后选择定位信号的精度和持续时长次之的目标关键帧进行位置约束,如此处理,直至所有的目标关键帧都进行了位置约束。可选的,计算机设备可以根据目标关键帧的优先级顺序,确定当前关键帧,为当前关键帧生成虚拟地标,在生成的虚拟地标与当前关键帧之间加三维位置约束。可选的,在生成的虚拟地标与当前关键帧之间加的三维位置约束的权重取决于初始位姿图中采集位置信息的GPS精度信息。需要说明的是,计算机设备也可以根据GPS信号质量的强弱动态的确定该GPS信号对应的帧的绝对位置的可信度,可选的,计算机设备也可以根据初始位姿图中采集位置信息的GPS信号质量的强弱,确定在生成的虚拟地标与当前关键帧之间加的三维位置约束的权重。可选的,计算机设备也可以根据初始位姿图中采集位置信息的GPS信号质量的持续时长,确定在生成的虚拟地标与当前关键帧之间加的三维位置约束的权重。
本实施例中,计算机设备根据目标关键帧的优先级顺序,能够对目标关键帧进行位置约束,保证目标关键帧的位置信息与真实位置信息间的误差较小,从而使得到的进行位置约束操作后的位姿图的精度较高。
在上述对目标关键帧进行姿态约束操作的场景中,计算机设备可以在目标关键帧的预设方向生成平行虚拟地标,进而进行姿态约束操作。在一个实施例中,上述S203中的对目标关键帧进行姿态约束操作,包括:在目标关键帧的预设方向生成平行虚拟地标,在平行虚拟地标与目标关键帧之间加六维位姿约束。
具体地,计算机设备在上述确定的目标关键帧的预设方向生成平行虚拟地标,在生成的平行虚拟地标与目标关键帧之间加六维位姿约束,得到约束后的位姿图。可选的,计算机设备可以在目标关键帧的右边生成平行虚拟地标,例如,计算机设备可以在距离该目标关键帧右边15m的位置生成平行虚拟地标。可选的,计算机设备可以通过以下步骤对目标关键帧进行姿态约束操作:
S2031,获取目标关键帧对应的路面的曲率。
具体地,计算机设备获取目标关键帧对应的路面的曲率。可选的,计算机设备可以根据目标关键帧对应的GPS信息,获取目标关键帧对应的路面的曲率。可以理解的是,目标关键帧对应的路面的曲率越小,则该路面越接近直行路面。
S2032,根据目标关键帧对应的路面的曲率和预设的曲率阈值,确定是否需要对目标关键帧进行姿态约束操作。
具体地,计算机设备根据目标关键帧对应的路面的曲率和预设的曲率阈值,确定是否需要对目标关键帧进行姿态约束操作。可选的,计算机设备可以将目标关键帧对应的路面的曲率小于预设的曲率阈值的目标关键帧,确定为需要进行姿态约束操作的目标关键帧。优选地,计算机设备可以选择直行路段对应的目标关键帧进行姿态约束操作,也就是对目标关键帧对应的路面的曲率接近0的目标关键帧进行姿态约束操作。
S2033,若是,则将目标关键帧对应的信息和预设的数据库中的帧信息进行比较,得到目标关键帧对应的路面行车规则。
具体地,若计算机设备确定需要对目标关键帧进行姿态约束操作,则将目标关键帧对应的信息和预设的数据库中的帧信息进行比较,得到目标关键帧对应的路面行车规则。可选的,计算机设备可以将目标关键帧对应的信息和预设的数据库中的帧信息进行比较,得到该目标关键帧对应的国家信息,根据该目标关键帧对应的国家信息,得到该目标关键帧对应的路面行车规则。比如,预设数据库存储有多个国家的行车规则,比如中国是靠右行驶,泰国是靠左行驶等等,当目标关键帧所携带的地域信息显示该图所采集的地点位于中国时,则与预设数据库比较后,得出该帧所处的地点行车规则。
S2034,根据目标关键帧对应的路面行车规则,确定目标关键帧的预设方向。
具体地,计算机设备根据目标关键帧对应的路面行车规则,确定目标关键帧的预设方向。示例性地,计算机设备若确定出目标关键帧对应的路面行车规则为靠右行驶,则计算机设备确定目标关键帧的预设方向为右方。
S2035,在距离目标关键帧的预设方向的预设位置处生成平行虚拟地标。
具体地,计算机设备在距离目标关键帧的预设方向的预设位置处生成平行虚拟地标。例如,计算机设备确定出的预设方向为右边,则计算机设备可以在距离该目标关键帧右边15m的位置生成平行虚拟地标。
S2036,在生成的平行虚拟地标与目标关键帧之间加六维约束。
具体地,计算机设备在生成上述平行虚拟地标后,计算机设备在生成的平行虚拟地标与目标关键帧之间加六维约束,以完成对目标关键帧的姿态约束操作。
可以理解的是,车有6个自由度,位置约束操作可以有效地抑制位置、航向角和俯仰角的积累误差,只有横滚角的积累误差受位置约束操作的约束较小,不失一般性,在直行路段横滚角的积累误差会积累到很大,例如20度。一般惯性导航系统产生的横滚角是测重力方向时得到的,精度较高,路面颠簸一般对俯仰角影响较大,对横滚角的影响却很小,因此,选择对第一位姿图中的直行路段(也就是曲率较小,例如,曲率半径大于一公里的路段)对应的目标关键帧进行姿态约束操作,将惯性导航系统产生的横滚角当作一个高度可信值,在对目标关键帧进行姿态约束操作时不能偏离该值较远。
本实施例中,计算机设备在目标关键帧的预设方向生成平行虚拟地标,在生成的平行虚拟地标与目标关键帧之间加六维位姿约束,能够对位姿图中的横滚角积累误差进行有效地抑制,从而提高了得到的约束后的位姿图的精度。
在上述对构成初始位姿图的各帧进行约束操作,得到第一位姿图的场景中,计算机设备可以根据初始位姿图中各帧的匹配结果,对各帧的匹配结果做包内顺序匹配约束,得到第一位姿图。在一个实施例中,如图3所示,上述S201,包括:
S301,对构成初始位姿图的各帧进行匹配,得到各帧的匹配结果。
具体地,计算机设备采用预设的匹配算法对构成初始位姿图的各帧进行匹配,得到各帧的匹配结果。可选的,预设的匹配算法可以为滑动窗匹配算法,示例性地,计算机设备可以采用一个滑动窗,对构成初始位姿图的的第一帧和第二帧进行匹配,然后第一帧和第二帧相加作为滑动窗和第三帧进行匹配,然后第一帧、第二帧和第三帧相加作为滑动窗和第四帧进行匹配,直至对构成初始位姿图的各帧匹配完成,得到各帧的匹配结果。
S302,对各帧的匹配结果做包内顺序匹配约束,得到第一位姿图。
具体地,计算机设备对构成初始位姿图的各帧的匹配结果做包内顺序匹配约束,得到第一位姿图。可选的,计算机设备可以对各帧的匹配结果中的每一帧与它的前一帧和后一帧,各加一个约束,得到上述第一位姿图。需要说明的是,对构成初始位姿图的各帧的匹配结果做的包内顺序匹配约束,是对非关键帧所做的约束,其目的在于平滑掉传感器的随机误差,比如说路的颠簸造成的角度和位置误差就可以通过包内顺序匹配约束被抑制掉,通过该处理提高了所得到的第一位姿图局部范围内帧的位姿一致性。
本实施例中,计算机设备采用滑动窗匹配算法,能够对构成初始位姿图的各帧进行匹配,得到各帧的匹配结果,进而可以对各帧的匹配结果做包内顺序匹配约束,平滑掉传感器的随机误差,提高得到的第一位姿图局部范围内帧的位姿一致性。
在上述对构成初始位姿图的各帧进行约束操作,得到第一位姿图的场景中,首先需要根据得到的激光点云数据,构建初始位姿图。在一个实施例中,如图4所示,上述方法还包括:
S401,将预设角度范围内的激光点云数据组合为一帧数据,并对各帧数据和对应的位置数据与姿态数据进行融合,形成各帧的位姿。
具体地,计算机设备将预设角度范围内的激光点云数据组合为一帧数据,并对各帧数据和对应的位置数据与姿态数据进行融合,形成各帧的位姿。可选的,预设角度可以为360度。示例性地,计算机设备可以将一整圈(360度)激光点云数据组合为一帧数据,再对各帧数据融合各种传感器参数内插出位置数据与姿态数据,形成各帧的位姿。
S402,对各帧的位姿进行组合,得到初始位姿图。
具体地,计算机设备对形成的各帧的位姿进行组合,得到初始位姿图。可选的,计算机设备可以按照形成各帧的位姿的顺序,对各帧的位姿进行组合,得到初始位姿图。可选的,计算机设备也可以在形成各帧的位姿后按照预设的组合顺序,对各帧的位姿进行组合,得到初始位姿图。需要说明的是,初始位姿图里各个位姿之间没有进行约束操作,各个位姿是相互独立的,各自有各自的误差。
本实施例中,计算机设备能够将预设角度范围内的激光点云数据组合为一帧数据,并对各帧数据和对应的位置数据与姿态数据进行融合,形成各帧的位姿,进而对各帧的位姿进行组合,得到初始位姿图,由于初始位姿图是对各帧的位姿进行组合得到的,而各帧的位姿是对各帧数据和对应的位置数据与姿态数据进行融合得到的,得到的各帧的位姿的准确度较高,进而提高了得到的初始位姿图的准确度。
在一些场景中,由于包内顺序匹配约束只约束了局部,没有对整体进行约束,因此,还可以对确定的目标关键帧进行包间回环匹配约束,将目标关键帧交汇点上的积累误差进行平均地分配。在一个实施例中,如图5所示,上述方法还包括:
S501,根据目标关键帧,在预设的数据库中获取构成第一位姿图的各帧的回环匹配结果。
具体地,计算机设备根据上述确定的目标关键帧,在预设的数据库中获取构成第一位姿图的各帧的回环匹配结果。可选的,计算机设备可以首先对构成第一位姿图的各帧进行回环匹配,得到各帧的回环匹配结果,并将得到的回环匹配结果存入预设的数据库中。可选的,计算机设备可以根据确定的目标关键帧,在预设的数据中进行查找进而获取构成第一位姿图的各帧的回环匹配结果。
S502,根据回环匹配结果,对目标关键帧进行包间回环匹配约束。
具体地,计算机设备根据获取的回环匹配结果,对目标关键帧进行包间回环匹配约束。可以理解的是,回环匹配结果是将每一对数据包的匹配结果存为一对文件(正向反向各一个),在预设的数据库中获取构成第一位姿图的各帧的回环匹配结果时会把所有可能以及正反方向都尝试去匹配,但在对目标关键帧进行包间回环匹配约束时,只需获取第一位姿图的各帧对应的正向匹配结果。需要说明的是,包内顺序匹配约束只约束了局部,没有对整体进行约束,在这种情况下当采集一圈的点云数据回到原点后,会发现跟原来的位置对不上,比如说高度差了10米,这种误差成为积累误差,可以通过包间回环匹配约束来平衡掉该误差,包间回环匹配约束的作用是把目标关键帧交汇点上的积累误差平均分配到每一点上,平衡掉交汇点的误差,例如,有两个点云数据经过同一路段,可以认为这条路上处处是交汇点,对目标关键帧进行包间回环匹配约束后会保证这两个数据包处处都保持一致。
本实施例中,计算机设备能够根据目标关键帧,在预设的数据库中获取构成第一位姿图的各帧的回环匹配结果,进而可以根据回环匹配结果,对目标关键帧进行包间回环匹配约束,把交汇点上的积累误差平均分配到每一点上,从而平滑掉目标关键帧的误差。
在一些场景中,得到约束后的位姿图后还需要对位姿图进行进一步地优化,以提高位姿图的精度。在一个实施例中,上述方法还包括:对约束后的位姿图进行优化操作,得到优化后的位姿图。
具体地,计算机设备对上述得到的约束后的位姿图进行优化操作,得到优化后的位姿图。可选的,计算机设备可以采用卡尔曼滤波等优化算法对约束后的位姿图进行优化操作,得到优化后的位姿图。需要说明的是,得到的优化后的位姿图中的所有位姿均在绝对位置上的精度较高,相对姿态也比较一致。
本实施例中,计算机设备对约束后的位姿图进行优化操作,能够对约束后的位姿图进行进一步地优化,从而提高了得到的优化后的位姿图的精度,使得到的优化后的位姿图的精度更高。
为了便于本领域技术人员的理解,以下对本申请提供的位姿图处理方法进行详细介绍,该方法可以包括:
S601,将预设角度范围内的激光点云数据组合为一帧数据,并对各帧数据和对应的位置数据与姿态数据进行融合,形成各帧的位姿。
S602,对各帧的位姿进行组合,得到初始位姿图。
S603,对构成初始位姿图的各帧进行匹配,得到各帧的匹配结果。
S604,对各帧的匹配结果做包内顺序匹配约束,得到第一位姿图。
S605,确定第一位姿图中的关键帧,并根据关键帧对应的时间间隔和空间距离从关键帧中确定出目标关键帧。
S606,根据目标关键帧的优先级顺序,确定当前关键帧;优先级顺序是根据定位信号的精度和持续时长确定的。
S607,为当前关键帧生成虚拟地标,在虚拟地标与当前关键帧之间加三维位置约束。
S608,在目标关键帧的预设方向生成平行虚拟地标,在平行虚拟地标与目标关键帧之间加六维位姿约束。
S609,根据目标关键帧,在预设的数据库中获取构成第一位姿图的各帧的回环匹配结果。
S610,根据回环匹配结果,对目标关键帧进行包间回环匹配约束。
S611,对约束后的位姿图进行优化操作,得到优化后的位姿图。
需要说明的是,针对上述S601-S611中的描述可以参见上述实施例中相关的描述,且其效果类似,本实施例在此不再赘述。
应该理解的是,虽然图2-5的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-5中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图6所示,提供了一种位姿图处理装置,包括:第一约束模块、确定模块和第二约束模块,其中:
第一约束模块,用于对构成初始位姿图的各帧进行约束操作,得到第一位姿图。
确定模块,用于确定第一位姿图中的关键帧,并根据关键帧对应的时间间隔和空间距离从关键帧中确定出目标关键帧。
第二约束模块,用于对目标关键帧进行位置约束操作和/或姿态约束操作,得到约束后的位姿图。
本实施例提供的位姿图处理装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
在上述实施例的基础上,可选的,上述第二约束模块包括:第一约束单元,其中:
第一约束单元,用于根据目标关键帧的优先级顺序,对目标关键帧进行位置约束;优先级顺序是根据定位信号的精度和持续时长确定的。
本实施例提供的位姿图处理装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
在上述实施例的基础上,可选的,上述第一约束单元,具体用于根据目标关键帧的优先级顺序,确定当前关键帧;为当前关键帧生成虚拟地标,在虚拟地标与当前关键帧之间加三维位置约束。
本实施例提供的位姿图处理装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
在上述实施例的基础上,可选的,上述第二约束模块包括:第二约束单元,其中:
第二约束单元,用于在目标关键帧的预设方向生成平行虚拟地标,在平行虚拟地标与目标关键帧之间加六维位姿约束。
本实施例提供的位姿图处理装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
在上述实施例的基础上,可选的,上述第一约束模块包括:匹配单元和第三约束单元,其中:
匹配单元,用于对构成初始位姿图的各帧进行匹配,得到各帧的匹配结果。
第三约束单元,用于对各帧的匹配结果做包内顺序匹配约束,得到第一位姿图。
本实施例提供的位姿图处理装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
在上述实施例的基础上,可选的,上述装置还包括:处理模块和组合模块,其中:
处理模块,用于将预设角度范围内的激光点云数据组合为一帧数据,并对各帧数据和对应的位置数据与姿态数据进行融合,形成各帧的位姿;
组合模块,用于对各帧的位姿进行组合,得到初始位姿图。
本实施例提供的位姿图处理装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
在上述实施例的基础上,可选的,上述装置还包括:获取模块和第三约束模块,其中:
获取模块,用于根据目标关键帧,在预设的数据库中获取构成第一位姿图的各帧的回环匹配结果。
第三约束模块,用于根据回环匹配结果,对目标关键帧进行包间回环匹配约束。
本实施例提供的位姿图处理装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
在上述实施例的基础上,可选的,上述装置还包括:优化模块,其中:
优化模块,用于对约束后的位姿图进行优化操作,得到优化后的位姿图。
本实施例提供的位姿图处理装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
关于位姿图处理装置的具体限定可以参见上文中对于位姿图处理方法的限定,在此不再赘述。上述位姿图处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
对构成初始位姿图的各帧进行约束操作,得到第一位姿图;
确定第一位姿图中的关键帧,并根据关键帧对应的时间间隔和空间距离从关键帧中确定出目标关键帧;
对目标关键帧进行位置约束操作和/或姿态约束操作,得到约束后的位姿图。
上述实施例提供的计算机设备,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
对构成初始位姿图的各帧进行约束操作,得到第一位姿图;
确定第一位姿图中的关键帧,并根据关键帧对应的时间间隔和空间距离从关键帧中确定出目标关键帧;
对目标关键帧进行位置约束操作和/或姿态约束操作,得到约束后的位姿图。
上述实施例提供的计算机可读存储介质,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种位姿图处理方法,其特征在于,所述方法包括:
对构成初始位姿图的各帧进行约束操作,得到第一位姿图;
确定所述第一位姿图中的关键帧,并根据所述关键帧对应的时间间隔和/或空间距离从所述关键帧中确定出目标关键帧;
对所述目标关键帧进行位置约束操作和/或姿态约束操作,得到约束后的位姿图。
2.根据权利要求1所述的方法,其特征在于,所述对所述目标关键帧进行位置约束操作,包括:
根据所述目标关键帧的优先级顺序,对所述目标关键帧进行位置约束;所述优先级顺序是根据定位信号的精度和持续时长确定的。
3.根据权利要求2所述的方法,其特征在于,所述根据所述目标关键帧的优先级顺序,对所述目标关键帧进行位置约束,包括:
根据所述目标关键帧的优先级顺序,确定当前关键帧;
为所述当前关键帧生成虚拟地标,在所述虚拟地标与所述当前关键帧之间加三维位置约束。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述对所述目标关键帧进行姿态约束操作,包括:
在所述目标关键帧的预设方向生成平行虚拟地标,在所述平行虚拟地标与所述目标关键帧之间加六维位姿约束。
5.根据权利要求1-3任一项所述的方法,其特征在于,所述对构成初始位姿图的各帧进行约束操作,得到第一位姿图,包括:
对构成所述初始位姿图的各帧进行匹配,得到各帧的匹配结果;
对所述各帧的匹配结果做包内顺序匹配约束,得到所述第一位姿图。
6.根据权利要求1所述的方法,其特征在于,所述对构成初始位姿图的各帧进行约束操作,得到第一位姿图之前,所述方法还包括:
将预设角度范围内的激光点云数据组合为一帧数据,并对各帧数据和对应的位置数据与姿态数据进行融合,形成各帧的位姿;
对所述各帧的位姿进行组合,得到所述初始位姿图。
7.根据权利要求1-3任一项所述的方法,其特征在于,所述方法还包括:
根据所述目标关键帧,在预设的数据库中获取构成所述第一位姿图的各帧的回环匹配结果;
根据所述回环匹配结果,对所述目标关键帧进行包间回环匹配约束。
8.一种位姿图处理装置,其特征在于,所述装置包括:
第一约束模块,用于对构成初始位姿图的各帧进行约束操作,得到第一位姿图;
确定模块,用于确定所述第一位姿图中的关键帧,并根据所述关键帧对应的时间间隔和空间距离从所述关键帧中确定出目标关键帧;
第二约束模块,用于对所述目标关键帧进行位置约束操作和/或姿态约束操作,得到约束后的位姿图。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010598302.9A CN111882494B (zh) | 2020-06-28 | 2020-06-28 | 位姿图处理方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010598302.9A CN111882494B (zh) | 2020-06-28 | 2020-06-28 | 位姿图处理方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111882494A true CN111882494A (zh) | 2020-11-03 |
CN111882494B CN111882494B (zh) | 2024-05-14 |
Family
ID=73157177
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010598302.9A Active CN111882494B (zh) | 2020-06-28 | 2020-06-28 | 位姿图处理方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111882494B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112880675A (zh) * | 2021-01-22 | 2021-06-01 | 京东数科海益信息科技有限公司 | 用于视觉定位的位姿平滑方法、装置、终端和移动机器人 |
CN115937383A (zh) * | 2022-09-21 | 2023-04-07 | 北京字跳网络技术有限公司 | 渲染图像的方法、装置、电子设备及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105856230A (zh) * | 2016-05-06 | 2016-08-17 | 简燕梅 | 一种可提高机器人位姿一致性的orb关键帧闭环检测slam方法 |
CN108489482A (zh) * | 2018-02-13 | 2018-09-04 | 视辰信息科技(上海)有限公司 | 视觉惯性里程计的实现方法及系统 |
WO2018235923A1 (ja) * | 2017-06-21 | 2018-12-27 | 国立大学法人 東京大学 | 位置推定装置、位置推定方法、及びプログラム |
CN109556596A (zh) * | 2018-10-19 | 2019-04-02 | 北京极智嘉科技有限公司 | 基于地面纹理图像的导航方法、装置、设备及存储介质 |
CN109814572A (zh) * | 2019-02-20 | 2019-05-28 | 广州市山丘智能科技有限公司 | 移动机器人定位建图方法、装置、移动机器人和存储介质 |
CN110866496A (zh) * | 2019-11-14 | 2020-03-06 | 合肥工业大学 | 基于深度图像的机器人定位与建图方法和装置 |
CN111178342A (zh) * | 2020-04-10 | 2020-05-19 | 浙江欣奕华智能科技有限公司 | 一种位姿图的优化方法、装置、设备及介质 |
-
2020
- 2020-06-28 CN CN202010598302.9A patent/CN111882494B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105856230A (zh) * | 2016-05-06 | 2016-08-17 | 简燕梅 | 一种可提高机器人位姿一致性的orb关键帧闭环检测slam方法 |
WO2018235923A1 (ja) * | 2017-06-21 | 2018-12-27 | 国立大学法人 東京大学 | 位置推定装置、位置推定方法、及びプログラム |
CN108489482A (zh) * | 2018-02-13 | 2018-09-04 | 视辰信息科技(上海)有限公司 | 视觉惯性里程计的实现方法及系统 |
CN109556596A (zh) * | 2018-10-19 | 2019-04-02 | 北京极智嘉科技有限公司 | 基于地面纹理图像的导航方法、装置、设备及存储介质 |
CN109814572A (zh) * | 2019-02-20 | 2019-05-28 | 广州市山丘智能科技有限公司 | 移动机器人定位建图方法、装置、移动机器人和存储介质 |
CN110866496A (zh) * | 2019-11-14 | 2020-03-06 | 合肥工业大学 | 基于深度图像的机器人定位与建图方法和装置 |
CN111178342A (zh) * | 2020-04-10 | 2020-05-19 | 浙江欣奕华智能科技有限公司 | 一种位姿图的优化方法、装置、设备及介质 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112880675A (zh) * | 2021-01-22 | 2021-06-01 | 京东数科海益信息科技有限公司 | 用于视觉定位的位姿平滑方法、装置、终端和移动机器人 |
CN115937383A (zh) * | 2022-09-21 | 2023-04-07 | 北京字跳网络技术有限公司 | 渲染图像的方法、装置、电子设备及存储介质 |
CN115937383B (zh) * | 2022-09-21 | 2023-10-10 | 北京字跳网络技术有限公司 | 渲染图像的方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111882494B (zh) | 2024-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107990899B (zh) | 一种基于slam的定位方法和系统 | |
US9709404B2 (en) | Iterative Kalman Smoother for robust 3D localization for vision-aided inertial navigation | |
CN110084832B (zh) | 相机位姿的纠正方法、装置、系统、设备和存储介质 | |
US11313684B2 (en) | Collaborative navigation and mapping | |
CN107845114B (zh) | 地图的构建方法、装置及电子设备 | |
CN112219087A (zh) | 位姿预测方法、地图构建方法、可移动平台及存储介质 | |
CN111833447A (zh) | 三维地图构建方法、三维地图构建装置及终端设备 | |
JP7116262B2 (ja) | 画像深度推定方法および装置、電子機器、ならびに記憶媒体 | |
CN111986261B (zh) | 一种车辆定位方法、装置、电子设备及存储介质 | |
Michot et al. | Bi-objective bundle adjustment with application to multi-sensor slam | |
CN111862150B (zh) | 图像跟踪的方法、装置、ar设备和计算机设备 | |
CN108592919B (zh) | 制图与定位方法、装置、存储介质和终端设备 | |
CN111882655B (zh) | 三维重建的方法、装置、系统、计算机设备和存储介质 | |
JP2009237848A (ja) | 情報処理装置、および画像処理方法、並びにコンピュータ・プログラム | |
CN111882494B (zh) | 位姿图处理方法、装置、计算机设备和存储介质 | |
US12094134B2 (en) | Electronic device and method for tracking object thereof | |
CN112118537B (zh) | 一种利用图片实现移动轨迹估算的方法及相关装置 | |
CN112950710A (zh) | 位姿确定方法、装置、电子设备和计算机可读存储介质 | |
CN108401460B (zh) | 生成视差图的方法、系统、存储介质和计算机程序产品 | |
CN116630442B (zh) | 一种视觉slam位姿估计精度评估方法及装置 | |
Muresan et al. | A multi patch warping approach for improved stereo block matching | |
JP5769248B2 (ja) | ステレオマッチング処理装置、ステレオマッチング処理方法、及び、プログラム | |
JP6154759B2 (ja) | カメラパラメータ推定装置、カメラパラメータ推定方法及びカメラパラメータ推定プログラム | |
US20180001821A1 (en) | Environment perception using a surrounding monitoring system | |
WO2024154351A1 (ja) | 信頼度決定システム、信頼度決定方法、及び信頼度決定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |