CN114742884A - 一种基于纹理的建图、里程计算、定位方法及系统 - Google Patents

一种基于纹理的建图、里程计算、定位方法及系统 Download PDF

Info

Publication number
CN114742884A
CN114742884A CN202210643354.2A CN202210643354A CN114742884A CN 114742884 A CN114742884 A CN 114742884A CN 202210643354 A CN202210643354 A CN 202210643354A CN 114742884 A CN114742884 A CN 114742884A
Authority
CN
China
Prior art keywords
image
texture
map
key frame
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210643354.2A
Other languages
English (en)
Other versions
CN114742884B (zh
Inventor
戴舒炜
陈玉寅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Iplus Tech Co ltd
Original Assignee
Hangzhou Iplus Tech Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Iplus Tech Co ltd filed Critical Hangzhou Iplus Tech Co ltd
Priority to CN202210643354.2A priority Critical patent/CN114742884B/zh
Publication of CN114742884A publication Critical patent/CN114742884A/zh
Application granted granted Critical
Publication of CN114742884B publication Critical patent/CN114742884B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • G01C21/3841Data obtained from two or more sources, e.g. probe vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/206Drawing of charts or graphs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明涉及定位与导航技术领域,尤其涉及一种基于纹理的建图、里程计算、定位方法及系统,包括获取路径,所述的路径基于所述激光传感器获取的可移动平台移动轨迹形成;基于所述视觉传感器获取所述可移动平台沿所述路径移动中获得的图像,选取所述图像中的关键帧,所述关键帧包含纹理信息;基于相邻两帧关键帧的图像进行图像匹配,获得所述的关键帧之间的相对位姿关系;基于所述关键帧的纹理信息以及相邻两帧关键帧之间的相对位姿关系,构建地图。本发明具有实现自动化建图的优点。

Description

一种基于纹理的建图、里程计算、定位方法及系统
技术领域
本发明涉及定位与导航技术领域,尤其涉及一种基于纹理的建图、里程计算、定位方法及系统。
背景技术
视觉定位与建图技术在实施时,其路径规划多是采用人员操作可移动平台移动,这样的缺陷在于,地图的构建过程需要依靠人员操作,建图效率低,且容易出现人操作可移动平台移动偏离,对构建的地图质量亦有影响。
随着视觉SLAM技术的发展,基于帧间的优化和图优化框架已成为视觉SLAM问题的主流框架。其中,图优化框架将运动估计和光束平差法引入视觉SLAM,运动估计是将机器人的位置和周围环境特征当作全局优化问题来求解,通过提取图像上的特征进行特征跟踪,建立误差函数,通过线性假设构建线性优化或直接进行非线性优化来求解,获得误差函数取得最小值时的机器人位姿同时优化路标。早先的运动结构恢复(StructurefromMotion,SFM)在特征提取、匹配以及后续的优化环节消耗太多时间,因此只能进行离线的位姿优化及三维重建,无法实时在线地完成自身的定位和地图构建。随着这些年光束平差法的稀疏性被发现以及计算机硬件的升级换代,各个环节消耗的时间大大降低,因此基于图优化框架的视觉SLAM能够实现实时定位与建图。
在使用视觉SLAM进行定位与建图时,需要设定一些标识方便机器人识别,例如常见的标识有二维码。但是,在某些应用场所中,受布置条件的限制,以及考虑到后续的二维码维护不便等原因,不再适合布设二维码作为标识供机器人识别。此种状况下,考虑到地面本身具有纹理,可使用地面本身具有的纹理来为机器人提供识别。例如,机器人在移动行走中,不断使用相机拍摄经过的地面照片,然后对拍摄的地面照片提取其纹理信息,以完成视觉SLAM的定位与建图。
然而,在以上的处理过程中发现仍然存在问题,其一,依靠地面本身具有的纹理,还是依靠二维码这些标识,需要在建图前为机器人规划路径,现有做法中,该规划的路径是依靠人员来操作机器人移动完成的,如此,一方面依靠人员操作机器人移动会导致建图效率低,再一方面,在人操作机器人移动过程中,容易出现误操作导致的机器人走错、行走偏离等问题,导致构建的地图质量低;其二,采用视觉SLAM构建地图,在获取的图像帧中提取信息构建地图精度高,尤其是与激光SLAM相比,由于激光获取的点云比较稀疏,会出现在某些位置构建的地图存在空洞。但是,视觉SLAM在建图中全局一致性较差,有需要进行闭环检测来优化构建的地图。现有的闭环检测是依赖视觉信息进行,对于构建地图的优化效果不明显。
基于以上提及的现实问题,本发明致力于解决其中的至少一项。
发明内容
本发明针对上述存在的问题,提供一种基于纹理的建图、里程计算、定位方法及系统。
一方面,本发明涉及一种基于纹理的建图方法,应用于可移动平台,所述可移动平台安装有视觉传感器和激光传感器,包括以下步骤:
获取路径,所述的路径基于所述激光传感器获取的可移动平台移动轨迹形成;
基于所述视觉传感器获取所述可移动平台沿所述路径移动中获得的图像,选取所述图像中的关键帧,所述关键帧包含纹理信息;
基于相邻两帧关键帧的图像进行图像匹配,获得所述的关键帧之间的相对位姿关系;
基于所述关键帧的纹理信息以及相邻两帧关键帧之间的相对位姿关系,构建地图。
作为一种可实施的方案,所述的基于所述关键帧的纹理信息以及相邻两帧关键帧之间的相对位姿关系,构建地图包括:基于所述激光传感器获取的信息进行闭环约束,优化构建的地图。
作为一种可实施的方案,所述的基于所述激光传感器获取的信息进行闭环约束,优化构建的地图包括:基于所述激光传感器获取的信息构建激光地图,获得当前帧在所述激光地图下的位姿,基于所述位姿的判断结果确定回环关键帧;获取所述当前帧的图像以及回环关键帧的图像进行图像匹配,确定所述当前帧与回环关键帧的相对位姿关系,基于所述相对位姿关系优化构建的地图。
作为一种可实施的方案,所述的基于所述关键帧的纹理信息以及相邻两帧关键帧之间的相对位姿关系,构建地图包括:基于所述激光传感器获取的信息进行姿态约束,优化构建的地图。
作为一种可实施的方案,所述的基于所述激光传感器获取的信息进行姿态约束,优化构建的地图包括:选取所述可移动平台沿所述路径移动中获得图像的任一帧作为第一关键帧;基于所述激光传感器采集的所述第一关键帧以及其他关键帧的位姿信息,确定所述的其他关键帧与第一关键帧之间的相对位姿关系;基于所述的其他关键帧与第一关键帧之间的相对位姿关系、相邻关键帧之间的相对位姿关系以及第一关键帧的位姿,优化构建的地图。
作为一种可实施的方案,所述的图像匹配包括:基于变换域的方式对相邻两帧关键帧的图像进行图像匹配。
另一方面,本发明涉及一种基于纹理的建图系统,应用于可移动平台,所述可移动平台安装有视觉传感器和激光传感器,包括:
第一获取模块,所述第一获取模块用于获取路径,所述的路径基于所述激光传感器获取的可移动平台移动轨迹形成;
第二获取模块,所述第二获取模块用于获取关键帧,所述的关键帧基于所述视觉传感器获取的所述可移动平台沿所述路径移动中获得的图像中选取,所述关键帧包含纹理信息;
图像匹配模块,所述图像匹配模块用于对相邻两帧关键帧的图像进行图像匹配,获得关键帧之间的相对位姿关系;
建图模块,所述建图模块基于所述关键帧的纹理信息以及相邻两帧关键帧之间的相对位姿关系构建地图。
作为一种可实施的方案,所述的建图模块包括:闭环约束模块,所述闭环约束模块基于所述激光传感器获取的信息进行闭环约束,优化构建的地图。
作为一种可实施的方案,所述的建图模块包括:姿态约束模块,所述姿态约束模块基于所述激光传感器获取的信息进行姿态约束,优化构建的地图。
再一方面,本发明涉及一种基于纹理的里程计算方法,包括以下步骤:
获取地图以及可移动平台在所述地图的初始位姿;
获取所述可移动平台沿路径移动中的当前帧图像以及上一关键帧图像,基于所述的当前帧图像与上一关键帧图像进行图像匹配,获得所述当前帧图像与上一关键帧图像的相对位姿关系;
获取所述的上一关键帧图像与初始位姿的相对位姿关系;
基于所述的当前帧图像与上一关键帧图像的相对位姿关系,以及上一关键帧图像与初始位姿的相对位姿关系,获得当前帧图像与初始位姿的相对位姿关系,计算里程。
再一方面,本发明涉及一种基于纹理的定位方法,包括以下步骤:
获取当前帧的图像和里程;
基于可移动平台的移动路径和所述里程,加载特定关键帧,所述的特定关键帧与当前帧处于预设范围内;
基于所述当前帧的图像与特定关键帧进行图像配准,获得当前帧的定位。
再一方面,本发明涉及一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任一项所述的基于纹理的建图方法和/或上述的基于纹理的里程计算方法和/或上述的基于纹理的定位方法。
采用以上方案后,本发明与现有技术相比,具有以下优点:
本发明的基于纹理的建图方法中,获取的路径是基于激光传感器获取的可移动平台移动轨迹形成的,以及,视觉传感器获取的图像是可移动平台沿上述路径移动中获得的,且在获取的图像中选取包含纹理信息的关键帧,再有,基于相邻两关键帧的图像做图像匹配,以获得关键帧之间的相对位姿关系,并基于关键帧的纹理信息和关键帧之间的相对位姿关系构建地图。在以上基于纹理的建图方法中,依靠激光传感器形成路径以实现自动化建图,无需依赖人员操作可移动平台在建图中的移动,在建图效率以及构建的地图质量上均有提升。
附图说明
图1是本发明建图方法的示意图。
图2是本发明建图系统的示意图。
图3是本发明里程计算方法的示意图。
图4是本发明定位方法的示意图。
图5是本发明计算机设备的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明做进一步详细说明。应当理解,此处描述的具体实施例仅用于解释本发明,并不用于限制本发明的保护范围。
< 实施例一 >
参照图1,本实施例提供一种基于纹理的建图方法。
本实施例的基于纹理的建图方法,主要用于可移动平台,其中,该可移动平台安装有视觉传感器和激光传感器。在本实施例中,可移动平台是指可以移动的设备,该移动设备既可以自主控制从一地行驶至另一地,也可以在其他设备,例如控制终端、操作手柄等控制下从一地行走至另一地。此外,该移动设备还可以具备一定的功能,例如,将物品或者人从一地运载至另一地,或者,在移动的两地之间进行某种作业,或者,在始发地与终到地两者中至少一处进行某种作业,如此等等,在此不做一一列举。具体的,该可移动平台可以是服务机器人,自动引导车,工业机器人,AGV小车,自动驾驶汽车,无人机,智能家居等。
本实施例中,安装在可移动平台的视觉传感器是指能够获取视觉信息的传感器,例如,较为常见的可使用相机,有单目相机、双目相机、深度相机等。类似的,激光传感器较为常见的可使用激光雷达,有单线束激光雷达和多线束激光雷达等。当然,应当知道的是以上举例只是一个具体示例,实际上可以根据需要进行自由选择,在此不做详细列举。
本实施例建图方法的步骤如下:
S1,获取路径,该路径基于上述激光传感器获取的可移动平台移动轨迹形成。
例如,在建图之前,可移动平台首先依靠激光传感器在场地行走形成激光地图,并且,在该激光地图可形成移动点位,将以上移动点位连线形成路径。因此,后续的建图中,可移动平台沿着该路径自主行走即可,无需人员操作其移动。以及,可移动平台在依靠激光传感器行走形成激光地图的过程中,无需限制其具体的行走路径,为本实施例的自动化建图提供基础。
S2,基于上述视觉传感器获取可移动平台沿以上路径移动中获得的图像,选取图像中的关键帧,其中,关键帧包含纹理信息。
该步骤中,在可移动平台沿着以上获取的路径进行移动中,利用视觉传感器获取可移动平台途径处的图像,并在以上图像中选取关键帧。其中,关键帧包含纹理信息,具体的,该纹理信息可以是途径地面本身具有的纹理,也可以是设置在途径位置的标识带有的纹理,通过关键帧的纹理信息可以同关键帧之间建立对应关系,识别区分不同的关键帧。本实施例中,关键帧可以根据需要自由定义,并非限制为关键帧应当具有某种特别属性,当然,也可以将天然具有某种属性的图像帧作为关键帧。例如,可以定义途径路径中的点位获取的图像为关键帧,或者,定义满足某种条件下获取的图像为关键帧。
S3,基于相邻两帧关键帧的图像进行图像匹配,获得关键帧之间的相对位姿关系。
在此步骤中,对相邻两帧关键帧的图像做图像匹配,以获得两关键帧之间的相对位姿关系。至于对关键帧的图像匹配方式,可以采用常见的图像配准方法,例如基于变换域的图像匹配,基于特征点的图像匹配,或者是基于灰度信息的图像匹配。
S4,基于关键帧的纹理信息以及相邻两帧关键帧之间的相对位姿关系,构建地图。
通过前述获得的关键帧纹理信息,以及相邻两帧关键帧之间的相对位姿关系,可以形成依靠视觉传感器构建的地图。具体的,在地图构建中,依靠视觉传感器获取的关键帧纹理信息,可以获知该关键帧处的场景信息,以及,叠加相邻关键帧之间的相对位姿关系,可以获知两关键帧的位置与姿态,从而构建出地图。
通过以上的建图方法,可移动平台在依靠视觉传感器下移动建图时,提前获取基于激光传感器形成的路径,无需借助人员操作可移动平台的行走,可提高建图效率,且能够避免人操作可移动平台中出现的偏差,建图质量亦可提高,能实现自动化构建高质量地图。
本实施例的其他变型中,基于关键帧的纹理信息以及相邻两帧关键帧之间的相对位姿关系,构建地图包括:基于激光传感器获取的信息进行闭环约束,优化构建的地图。
通过利用激光传感器获取的信息进行闭环约束,其好处在于,激光传感器获取信息的全局一致性较好,利用该信息对依靠视觉传感器,尤其是小视野视觉传感器获取的关键帧进行闭环约束,可使得优化后的地图同场景具有更好的一致性。尤其是与单纯依靠视觉传感器获取的信息进行闭环检测相比,通过借助另外的激光传感器获取信息,可补偿视觉传感器长距离累积误差大的缺陷,且该激光传感器在建图过程中可提供额外约束,整体来看具有好的综合效果。例如,基于关键帧的纹理信息以及相邻两帧与回环关键帧间的相对姿态约束,优化构建的视觉地图。
具体的,基于激光传感器获取的信息进行闭环约束,优化构建的地图包括:
S41,基于激光传感器获取的信息构建激光地图,获得当前帧在激光地图下的位姿,基于位姿的判断结果确定回环关键帧。
依靠激光传感器获取的信息,具体可以是可移动平台在行走中激光传感器获取的点云信息,利用该点云信息可构建激光地图,且在该激光地图上设定或者记录可移动平台途径的点位。具体的,该激光地图以及地图上的点位可在该步骤中形成,也可以在S1步骤中形成。
在建图过程中,将当前获取的激光数据与激光地图匹配,计算得到可移动平台在激光地图下的位姿,若该位姿与之前经过的位姿接近,即,可判断可移动平台接近重复经过某位置,如此,将先前记录的重复经过该位姿所关联的关键帧图像确定为回环关键帧。
S42,获取当前帧的图像以及回环关键帧的图像进行图像匹配,确定当前帧与回环关键帧的相对位姿关系,基于该相对位姿关系优化构建的地图。
在该步骤中,将获取的当前帧图像同回环关键帧的图像进行图像匹配,类似的,此处图像匹配可采用常用的图像配准方法,例如有基于变换域或者基于特征的图像匹配,在此不做展开赘述。通过图像匹配的计算,可以确定出当前帧与回环关键帧的相对位姿关系,基于该相对位姿关系优化构建的地图,即,将该相对位姿关系融合作为闭环约束优化构建的地图,以提高构建的地图质量。
本实施例的另外变型中,基于关键帧的纹理信息以及相邻两帧关键帧之间的相对位姿关系,构建地图包括:基于激光传感器获取的信息进行姿态约束,优化构建的地图。
通过利用激光传感器获取的信息对图像匹配进行姿态约束,即,在原有的单纯依靠视觉传感器获取的图像帧进行图像匹配的基础上,再借助激光传感器进行激光姿态约束,从而可将激光传感器获取信息带来的全局一致性的优势来优化地图全局一致性。具体的,在实际的建图场景中,单纯依靠视觉传感器做图像匹配,由于其视野有限,容易出现由于角度累积误差大而引起的准直性差的问题,即,基于视觉传感器构建的地图中,其点位以及点位之间的连线出现歪曲。在此问题出现后,依靠视觉传感器获取的图像帧来修正优化较为困难,由此,在本实施例的变型中,借助激光传感器,基于激光传感器获取信息的全局一致性好的优势,通过激光姿态约束,能对准直性进行优化。例如,基于关键帧的纹理信息、图像帧间的相对姿态约束以及激光帧间相对姿态约束,优化构建视觉地图。
具体的,基于激光传感器获取的信息进行姿态约束,优化构建的地图包括:
S41,选取可移动平台沿路径移动中获得图像的任一帧作为第一关键帧。
可移动平台在沿着路径移动行走过程中,不断的利用视觉传感器拍摄照片获取图像帧,在此步骤中,随机选取拍摄的任一帧图像作为第一关键帧。即,本实施例中,对于第一关键帧不做过多限制,可随意设定。
S42,基于激光传感器采集的第一关键帧以及其他关键帧的位姿信息,确定其他关键帧与第一关键帧之间的相对位姿关系。
在图像匹配中,是将相邻两帧关键帧进行图像匹配,即,假设有A、B、C、D四个关键帧,原有的图像匹配是基于以上关键帧的位姿信息,确定AB、BC、CD两两之间的相对位姿关系。在本实施例的姿态约束中,除了以上关键帧两两间的相对位姿关系外,假设将关键帧A定义为第一关键帧,还确定其他关键帧与第一关键帧之间的相对位姿关系,即AB、AC、AD之间的相对位姿关系,并且该相对位姿关系是基于激光传感器采集的信息获得。
S43,基于其他关键帧与第一关键帧之间的相对位姿关系、相邻关键帧之间的相对位姿关系以及第一关键帧的位姿,优化构建的地图。
通过其他关键帧与第一关键帧间的相对位姿关系、相邻关键帧之间的相对位姿关系,且同时锁定第一关键帧的位姿,可对构建的地图进行优化,形成全局一致性良好的地图。
在本实施例的其他变型中,可基于激光传感器获取的信息进行姿态约束和闭环约束的联合优化,具体的,结合其他关键帧与第一关键帧之间的相对姿态约束、相邻视觉关键帧相对姿态约束以及视觉回环关键帧相对姿态约束,同时锁定第一关键帧姿态,最终完成视觉地图的图优化,构建全局一致性良好的视觉纹理地图。
具体的,图像匹配包括:基于变换域的方式对相邻两帧关键帧的图像进行图像匹配。例如,可采用傅里叶变换方法,其抗噪性能好,计算快,易于硬件实现,旋转平移比例变换都能在频域中反映。当然在此只是做简单的举例,并非对具体变换域方式的限制。
< 实施例二 >
参照图2,本实施例涉及一种基于纹理的建图系统,应用于可移动平台,该可移动平台安装有视觉传感器和激光传感器,本实施例的可移动平台,以及安装在可移动平台的视觉传感器和激光传感器,可参照实施例一,在此不做赘述。
本实施例的建图系统包括:
第一获取模块,该第一获取模块用于获取路径,并且,该路径是基于激光传感器获取的可移动平台移动轨迹形成的;
第二获取模块,该第二获取模块用于获取关键帧,其中,关键帧基于视觉传感器获取的可移动平台沿路径移动中获得的图像中选取,该关键帧包含纹理信息;
图像匹配模块,该图像匹配模块用于对相邻两帧关键帧的图像进行图像匹配,获得关键帧之间的相对位姿关系;
建图模块,该建图模块基于关键帧的纹理信息以及相邻两帧关键帧之间的相对位姿关系构建地图。
本实施例的建图系统,通过第一获取模块获取路径,并且,获取的该路径是基于激光传感器形成,具体的,例如可用激光传感器采集的点云形成激光地图,在激光地图上形成路径。以及,在第一获取模块获取的路径,可作为第二获取模块中可移动平台的行走路径,使得可移动平台自主移动且在移动中基于视觉传感器获取图像,从而为第二获取模块获取关键帧提供基础,由此,本实施例的建图系统,可实现自动化建图,无需依靠人员操作,具有建图效率高、建图质量好的优点。
在本实施例的变型中,建图模块包括:闭环约束模块,该闭环约束模块基于激光传感器获取的信息进行闭环约束,优化构建的地图。
通过引入激光传感器获取的信息做闭环约束,可借助激光传感器具有的全局一致性好的优势,弥补小视野视觉传感器长距离累积误差大的缺陷,进而提升优化后构建地图的质量。
具体的,闭环约束模块包括:
回环关键帧确定模块,基于激光传感器获取的信息构建激光地图,获得当前帧在激光地图下的位姿,基于位姿的判断结果确定回环关键帧;
优化模块,获取当前帧的图像以及回环关键帧的图像进行图像匹配,确定当前帧与回环关键帧的相对位姿关系,基于相对位姿关系优化构建的地图。
在本实施例的其他变型中,建图模块包括:姿态约束模块,该姿态约束模块基于激光传感器获取的信息进行姿态约束,优化构建的地图。
在对关键帧做图像匹配时,引入激光传感器获取的信息对图像匹配进行姿态约束,主要是依赖激光传感器获取信息具有好的全局一致性的优势,以此对由于角度累积误差大引起的准直性差进行优化,使得构建的地图与实际场景具有较好的一致性。
具体的,姿态约束模块包括:
第一关键帧确定模块,选取可移动平台沿路径移动中获得图像的任一帧作为第一关键帧;
相对位姿关系确定模块,基于激光传感器采集的第一关键帧以及其他关键帧的位姿信息,确定其他关键帧与第一关键帧之间的相对位姿关系;
约束模块,基于其他关键帧与第一关键帧之间的相对位姿关系、相邻关键帧之间的相对位姿关系以及第一关键帧的位姿,优化构建的地图。
< 实施例三 >
参照图3,本实施例涉及一种基于纹理的里程计算方法,包括以下步骤:
S1,获取地图以及可移动平台在该地图的初始位姿;
S2,获取可移动平台沿路径移动中的当前帧图像以及上一关键帧图像,基于当前帧图像与上一关键帧图像进行图像匹配,获得当前帧图像与上一关键帧图像的相对位姿关系;
S3,获取上一关键帧图像与初始位姿的相对位姿关系;
S4,基于当前帧图像与上一关键帧图像的相对位姿关系,以及上一关键帧图像与初始位姿的相对位姿关系,获得当前帧图像与初始位姿的相对位姿关系,计算里程。
本实施例中,计算里程所依赖的地图,是采用实施例一给出的建图方法构建,如此,在实施例一的建图方法中构建的地图具有建图效率高,建图质量好的优点的基础上,在该地图上计算的里程也较为准确。
< 实施例四 >
参照图4,本实施例涉及一种基于纹理的定位方法,包括以下步骤:
S1,获取当前帧的图像和里程;
S2,基于可移动平台的移动路径和里程,加载特定关键帧,该特定关键帧与当前帧处于预设范围内;
S3,基于当前帧的图像与特定关键帧进行图像配准,获得当前帧的定位。
本实施例中,在进行定位时依赖的里程,采用实施例三给出的里程计算方法确定,使得本实施例的定位方法,能够在实施例一的建图方法具有的效率高、建图质量好的基础上,兼具实施例三的里程计算方法得出的里程较为准确的优势,进而使得采用本实施例的定位方法中确定的位姿较为精准。
在其他的实施例中,参照图5,还涉及一种计算机设备,包括存储器和处理器,该存储器存储有计算机程序,处理器执行该计算机程序时实现上述的基于纹理的建图方法和/或上述的基于纹理的里程计算方法和/或上述的基于纹理的定位方法。
在其他的实施例中,还提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述的建图方法、里程计算方法、定位方法中至少一种方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件完成。计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以作出若干变形和改进,这些都属于本发明的保护范围。

Claims (10)

1.一种基于纹理的建图方法,应用于可移动平台,所述可移动平台安装有视觉传感器和激光传感器,其特征在于,包括以下步骤:
获取路径,所述的路径基于所述激光传感器获取的可移动平台移动轨迹形成;
基于所述视觉传感器获取所述可移动平台沿所述路径移动中获得的图像,选取所述图像中的关键帧,所述关键帧包含纹理信息;
基于相邻两帧关键帧的图像进行图像匹配,获得所述的关键帧之间的相对位姿关系;
基于所述关键帧的纹理信息以及相邻两帧关键帧之间的相对位姿关系,构建地图;
基于所述激光传感器获取的信息进行闭环约束,优化构建的地图。
2.根据权利要求1所述的一种基于纹理的建图方法,其特征在于,所述的基于所述激光传感器获取的信息进行闭环约束,优化构建的地图包括:
基于所述激光传感器获取的信息构建激光地图,获得当前帧在所述激光地图下的位姿,基于所述位姿的判断结果确定回环关键帧;
获取所述当前帧的图像以及回环关键帧的图像进行图像匹配,确定所述当前帧与回环关键帧的相对位姿关系,基于所述相对位姿关系优化构建的地图。
3.根据权利要求1所述的一种基于纹理的建图方法,其特征在于,所述的基于所述关键帧的纹理信息以及相邻两帧关键帧之间的相对位姿关系,构建地图包括:
基于所述激光传感器获取的信息进行姿态约束,优化构建的地图。
4.根据权利要求3所述的一种基于纹理的建图方法,其特征在于,所述的基于所述激光传感器获取的信息进行姿态约束,优化构建的地图包括:
选取所述可移动平台沿所述路径移动中获得图像的任一帧作为第一关键帧;
基于所述激光传感器采集的所述第一关键帧以及其他关键帧的位姿信息,确定所述的其他关键帧与第一关键帧之间的相对位姿关系;
基于所述的其他关键帧与第一关键帧之间的相对位姿关系、相邻关键帧之间的相对位姿关系以及第一关键帧的位姿,优化构建的地图。
5.根据权利要求1所述的一种基于纹理的建图方法,其特征在于,所述的图像匹配包括:基于变换域的方式对相邻两帧关键帧的图像进行图像匹配。
6.一种基于纹理的建图系统,应用于可移动平台,所述可移动平台安装有视觉传感器和激光传感器,其特征在于,包括:
第一获取模块,所述第一获取模块用于获取路径,所述的路径基于所述激光传感器获取的可移动平台移动轨迹形成;
第二获取模块,所述第二获取模块用于获取关键帧,所述的关键帧基于所述视觉传感器获取的所述可移动平台沿所述路径移动中获得的图像中选取,所述关键帧包含纹理信息;
图像匹配模块,所述图像匹配模块用于对相邻两帧关键帧的图像进行图像匹配,获得关键帧之间的相对位姿关系;
建图模块,所述建图模块基于所述关键帧的纹理信息以及相邻两帧关键帧之间的相对位姿关系构建地图;
闭环约束模块,所述闭环约束模块基于所述激光传感器获取的信息进行闭环约束,优化构建的地图。
7.根据权利要求6所述的一种基于纹理的建图系统,其特征在于,所述的建图模块包括:
姿态约束模块,所述姿态约束模块基于所述激光传感器获取的信息进行姿态约束,优化构建的地图。
8.一种基于纹理的里程计算方法,其特征在于,包括以下步骤:
获取地图以及可移动平台在所述地图的初始位姿;
获取所述可移动平台沿路径移动中的当前帧图像以及上一关键帧图像,基于所述的当前帧图像与上一关键帧图像进行图像匹配,获得所述当前帧图像与上一关键帧图像的相对位姿关系;
获取所述的上一关键帧图像与初始位姿的相对位姿关系;
基于所述的当前帧图像与上一关键帧图像的相对位姿关系,以及上一关键帧图像与初始位姿的相对位姿关系,获得当前帧图像与初始位姿的相对位姿关系,计算里程。
9.一种基于纹理的定位方法,其特征在于,包括以下步骤:
获取当前帧的图像和里程;
基于可移动平台的移动路径和所述里程,加载特定关键帧,所述的特定关键帧与当前帧处于预设范围内;
基于所述当前帧的图像与特定关键帧进行图像配准,获得当前帧的定位。
10.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于:所述处理器执行所述计算机程序时实现权利要求1至5任一项所述的基于纹理的建图方法和/或权利要求8的基于纹理的里程计算方法和/或权利要求9的基于纹理的定位方法。
CN202210643354.2A 2022-06-09 2022-06-09 一种基于纹理的建图、里程计算、定位方法及系统 Active CN114742884B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210643354.2A CN114742884B (zh) 2022-06-09 2022-06-09 一种基于纹理的建图、里程计算、定位方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210643354.2A CN114742884B (zh) 2022-06-09 2022-06-09 一种基于纹理的建图、里程计算、定位方法及系统

Publications (2)

Publication Number Publication Date
CN114742884A true CN114742884A (zh) 2022-07-12
CN114742884B CN114742884B (zh) 2022-11-22

Family

ID=82286852

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210643354.2A Active CN114742884B (zh) 2022-06-09 2022-06-09 一种基于纹理的建图、里程计算、定位方法及系统

Country Status (1)

Country Link
CN (1) CN114742884B (zh)

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104374395A (zh) * 2014-03-31 2015-02-25 南京邮电大学 基于图的视觉slam方法
CN107025668A (zh) * 2017-03-30 2017-08-08 华南理工大学 一种基于深度相机的视觉里程计的设计方法
CN107677279A (zh) * 2017-09-26 2018-02-09 上海思岚科技有限公司 一种定位建图的方法及系统
CN108038139A (zh) * 2017-11-10 2018-05-15 未来机器人(深圳)有限公司 地图构建方法、装置和机器人定位方法、装置、计算机设备和存储介质
CN111311662A (zh) * 2020-02-12 2020-06-19 清华大学深圳国际研究生院 一种实时重建三维场景的方法及装置
CN111337947A (zh) * 2020-05-18 2020-06-26 深圳市智绘科技有限公司 即时建图与定位方法、装置、系统及存储介质
CN111489393A (zh) * 2019-01-28 2020-08-04 速感科技(北京)有限公司 Vslam方法、控制器和可移动设备
CN111561923A (zh) * 2020-05-19 2020-08-21 北京数字绿土科技有限公司 基于多传感器融合的slam制图方法、系统
US20200333162A1 (en) * 2018-10-19 2020-10-22 Beijing Geekplus Technology Co., Ltd. Ground texture image-based navigation method and device, and storage medium
CN111815755A (zh) * 2019-04-12 2020-10-23 Oppo广东移动通信有限公司 虚拟物体被遮挡的区域确定方法、装置及终端设备
CN112083725A (zh) * 2020-09-04 2020-12-15 湖南大学 一种面向自动驾驶车辆的结构共用多传感器融合定位系统
CN112086010A (zh) * 2020-09-03 2020-12-15 中国第一汽车股份有限公司 地图生成方法、装置、设备及存储介质
CN113124854A (zh) * 2019-12-31 2021-07-16 杭州海康机器人技术有限公司 一种视觉定位方法、以及地图构建方法、装置
CN113345018A (zh) * 2021-05-31 2021-09-03 湖南大学 一种动态场景下的激光单目视觉融合定位建图方法
CN113420590A (zh) * 2021-05-13 2021-09-21 北京航空航天大学 弱纹理环境下的机器人定位方法、装置、设备及介质
CN113674399A (zh) * 2021-08-16 2021-11-19 杭州图灵视频科技有限公司 一种移动机器人室内三维点云地图构建方法及系统
CN113744308A (zh) * 2021-08-06 2021-12-03 高德软件有限公司 位姿优化方法、装置、电子设备、介质及程序产品
CN114485620A (zh) * 2022-01-29 2022-05-13 中国科学院国家空间科学中心 融合轨道动力学的小行星探测器自主视觉定位系统及方法

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104374395A (zh) * 2014-03-31 2015-02-25 南京邮电大学 基于图的视觉slam方法
CN107025668A (zh) * 2017-03-30 2017-08-08 华南理工大学 一种基于深度相机的视觉里程计的设计方法
CN107677279A (zh) * 2017-09-26 2018-02-09 上海思岚科技有限公司 一种定位建图的方法及系统
CN108038139A (zh) * 2017-11-10 2018-05-15 未来机器人(深圳)有限公司 地图构建方法、装置和机器人定位方法、装置、计算机设备和存储介质
US20200333162A1 (en) * 2018-10-19 2020-10-22 Beijing Geekplus Technology Co., Ltd. Ground texture image-based navigation method and device, and storage medium
CN111489393A (zh) * 2019-01-28 2020-08-04 速感科技(北京)有限公司 Vslam方法、控制器和可移动设备
CN111815755A (zh) * 2019-04-12 2020-10-23 Oppo广东移动通信有限公司 虚拟物体被遮挡的区域确定方法、装置及终端设备
CN113124854A (zh) * 2019-12-31 2021-07-16 杭州海康机器人技术有限公司 一种视觉定位方法、以及地图构建方法、装置
CN111311662A (zh) * 2020-02-12 2020-06-19 清华大学深圳国际研究生院 一种实时重建三维场景的方法及装置
CN111337947A (zh) * 2020-05-18 2020-06-26 深圳市智绘科技有限公司 即时建图与定位方法、装置、系统及存储介质
CN111561923A (zh) * 2020-05-19 2020-08-21 北京数字绿土科技有限公司 基于多传感器融合的slam制图方法、系统
CN112086010A (zh) * 2020-09-03 2020-12-15 中国第一汽车股份有限公司 地图生成方法、装置、设备及存储介质
CN112083725A (zh) * 2020-09-04 2020-12-15 湖南大学 一种面向自动驾驶车辆的结构共用多传感器融合定位系统
CN113420590A (zh) * 2021-05-13 2021-09-21 北京航空航天大学 弱纹理环境下的机器人定位方法、装置、设备及介质
CN113345018A (zh) * 2021-05-31 2021-09-03 湖南大学 一种动态场景下的激光单目视觉融合定位建图方法
CN113744308A (zh) * 2021-08-06 2021-12-03 高德软件有限公司 位姿优化方法、装置、电子设备、介质及程序产品
CN113674399A (zh) * 2021-08-16 2021-11-19 杭州图灵视频科技有限公司 一种移动机器人室内三维点云地图构建方法及系统
CN114485620A (zh) * 2022-01-29 2022-05-13 中国科学院国家空间科学中心 融合轨道动力学的小行星探测器自主视觉定位系统及方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ATSUNORI MOTEKI等: "Fast and accurate relocalization for keyframe-based SLAM using geometric model selection", 《2016 IEEE VIRTUAL REALITY (VR)》 *
MARIIA GLADKOVA等: "Tight Integration of Feature-based Relocalization in Monocular Direct Visual Odometry", 《2021 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA)》 *
刘雨: "服务机器人室内三维环境热场建模及感知技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
李小倩: "基于环境语义信息的同步定位与地图构建方法综述", 《工程科学学报》 *
陈玉寅: "基于卡尔曼滤波器的运动刚体位姿估计方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Also Published As

Publication number Publication date
CN114742884B (zh) 2022-11-22

Similar Documents

Publication Publication Date Title
CN112014857B (zh) 用于智能巡检的三维激光雷达定位导航方法及巡检机器人
US10096129B2 (en) Three-dimensional mapping of an environment
Bresson et al. Simultaneous localization and mapping: A survey of current trends in autonomous driving
RU2713611C2 (ru) Способ моделирования трехмерного пространства
CN113409410B (zh) 一种基于3d激光雷达的多特征融合igv定位与建图方法
CN109186606B (zh) 一种基于slam和图像信息的机器人构图及导航方法
Johannsson et al. Temporally scalable visual SLAM using a reduced pose graph
Woo et al. Localization for autonomous driving
US9710925B2 (en) Robust anytime tracking combining 3D shape, color, and motion with annealed dynamic histograms
CN112525202A (zh) 一种基于多传感器融合的slam定位导航方法及系统
Dayoub et al. Long-term experiments with an adaptive spherical view representation for navigation in changing environments
KR20180079428A (ko) 자동 로컬리제이션을 위한 장치 및 방법
CN112179330A (zh) 移动设备的位姿确定方法及装置
Diosi et al. Experimental evaluation of autonomous driving based on visual memory and image-based visual servoing
CN110187348A (zh) 一种激光雷达定位的方法
CN111523545B (zh) 一种结合深度信息的物品查找方法
CN110703268A (zh) 一种自主定位导航的航线规划方法和装置
EP2828620B1 (en) Generating navigation data
CN115962773A (zh) 一种移动机器人同步定位与地图构建方法、装置和设备
CN114792338A (zh) 基于先验三维激光雷达点云地图的视觉融合定位方法
CN114742884B (zh) 一种基于纹理的建图、里程计算、定位方法及系统
WO2020118623A1 (en) Method and system for generating an environment model for positioning
CN115482282A (zh) 自动驾驶场景下具有多目标追踪能力的动态slam方法
CN112305558B (zh) 一种利用激光点云数据的移动机器人轨迹确定方法及装置
Baldoni et al. On the Design of High Accuracy Rail Digital Maps based on Sensor Fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant