CN109035303B - Slam系统相机跟踪方法及装置、计算机可读存储介质 - Google Patents

Slam系统相机跟踪方法及装置、计算机可读存储介质 Download PDF

Info

Publication number
CN109035303B
CN109035303B CN201810878312.0A CN201810878312A CN109035303B CN 109035303 B CN109035303 B CN 109035303B CN 201810878312 A CN201810878312 A CN 201810878312A CN 109035303 B CN109035303 B CN 109035303B
Authority
CN
China
Prior art keywords
image
pose information
pose
camera
slam system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810878312.0A
Other languages
English (en)
Other versions
CN109035303A (zh
Inventor
李晨
刘浩敏
黄晓鹏
王志昊
林�源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201810878312.0A priority Critical patent/CN109035303B/zh
Publication of CN109035303A publication Critical patent/CN109035303A/zh
Application granted granted Critical
Publication of CN109035303B publication Critical patent/CN109035303B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/269Analysis of motion using gradient-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供了一种SLAM系统相机跟踪方法及装置、计算机可读存储介质,通过采用SLAM系统计算相机本次采集到的第一图像的位姿信息,之后在SLAM系统再次进行计算前,针对相机在SLAM系统两次计算之间采集到的第二图像,采用预设的位姿算法计算该第二图像的位姿信息,其中,所述位姿算法的计算频率满足所述相机的采集频率,从而使得SLAM系统结合预设的位姿算法,能够实时计算相机采集到的图像的位姿信息,满足客户需求。

Description

SLAM系统相机跟踪方法及装置、计算机可读存储介质
技术领域
本发明涉及SLAM系统技术领域,尤其涉及一种SLAM系统相机跟踪方法及装置、计算机可读存储介质。
背景技术
为了在未知室内环境下实现自主移动与导航,智能机器人应具有构建室内环境地图,并同时具有在全局地图中定位的能力,上述过程同时实现称为机器人的同时定位与地图构建(Simultaneously Localization and Mapping,SLAM)。
SLAM系统在静态环境下定位准确、稳定,但在动态环境中,由于其自身运行速度的限制,提取图像中特征点的时间有瓶颈,计算速度通常无法达到实时,因此无法适用于高帧率相机。故针对高帧率图像的场景,如何能够实时处理高帧率相机采集到的图像,是本领域亟需解决的技术问题。
发明内容
有鉴于此,本申请提供了一种SLAM系统相机跟踪方法及装置、计算机可读存储介质,用以提供一种实时处理高帧率图像的方案。
第一方面,本申请实施例提供了一种SLAM系统相机跟踪方法,包括:
采用SLAM系统计算相机本次采集到的第一图像的位姿信息;
在所述SLAM系统再次计算前,针对所述相机采集到的第二图像,采用预设的位姿算法计算所述第二图像的位姿信息,所述位姿算法的计算频率满足所述相机的采集频率。
结合第一方面,本申请实施例提供了第一方面的第一种可能的实施方式,所述针对所述相机采集到的第二图像,采用预设的位姿算法计算所述第二图像的位姿信息,包括:
采用光流法计算获得所述第二图像的位姿信息。
结合第一方面,本申请实施例提供了第一方面的第二种可能的实施方式,所述针对所述相机采集到的第二图像,采用预设的位姿算法计算所述第二图像的位姿信息,包括:
采用IMU积分计算获得所述第二图像的位姿信息。
结合第一方面,本申请实施例提供了第一方面的第三种可能的实施方式,所述针对所述相机采集到的第二图像,采用预设的位姿算法计算所述第二图像的位姿信息,包括:
采用光流法计算获得所述第二图像的第一位姿信息;
采用IMU积分计算获得所述第二图像的第二位姿信息;
根据所述第一位姿信息和所述第二位姿信息,获得所述第二图像的位姿信息。
结合第一方面的第三种可能的实施方式,本申请实施例提供了第一方面的第四种可能的实施方式,所述根据所述第一位姿信息和所述第二位姿信息,获得所述第二图像的位姿信息,包括:
根据光流法和IMU积分的权重,通过对所述第一位姿信息和所述第二位姿信息进行加权求和,计算获得所述第二图像的位姿信息。
结合第一方面的第一种或第三种可能的实施方式,本申请实施例提供了第一方面的第五种可能的实施方式,所述采用SLAM系统计算相机本次采集到的第一图像的位姿信息,包括:
采用SLAM系统对所述第一图像进行特征点提取,获得所述第一图像的特征点;
根据所述第一图像的特征点的世界坐标,采用SLAM系统计算获得所述第一图像的位姿信息。
结合第一方面的第五种可能的实施方式,本申请实施例提供了第一方面的第六种可能的实施方式,所述采用光流法计算获得所述第二图像的第一位姿信息,包括:
将所述第一图像的特征点作为所述第二图像的特征点;
根据所述第二图像的特征点的世界坐标,采用光流法计算获得所述第二图像的第一位姿信息。
结合第一方面,本申请实施例提供了第一方面的第七种可能的实施方式,所述方法还包括:
根据所述第一图像的位姿信息和所述第二图像的位姿信息,生成相应的相机位姿图。
第二方面,本申请实施例提供了一种SLAM系统相机跟踪装置,包括:
第一计算模块,用于采用SLAM系统计算相机本次采集到的第一图像的位姿信息;
第二计算模块,用于在所述SLAM系统再次计算前,针对所述相机采集到的第二图像,采用预设的位姿算法计算所述第二图像的位姿信息,所述位姿算法的计算频率满足所述相机的采集频率。
结合第二方面,本申请实施例提供了第二方面的第一种可能的实施方式,所述第二计算模块,具体用于采用光流法计算获得所述第二图像的位姿信息。
结合第一方面,本申请实施例提供了第一方面的第二种可能的实施方式,所述第二计算模块,具体用于采用IMU积分计算获得所述第二图像的位姿信息。
结合第二方面,本申请实施例提供了第二方面的第三种可能的实施方式,所述第二计算模块,具体用于采用光流法计算获得所述第二图像的第一位姿信息;
所述第二计算模块,还具体用于采用IMU积分计算获得所述第二图像的第二位姿信息;
所述第二计算模块,还具体用于根据所述第一位姿信息和所述第二位姿信息,获得所述第二图像的位姿信息。
结合第二方面的第三种可能的实施方式,本申请实施例提供了第二方面的第四种可能的实施方式,所述第二计算模块,具体用于根据光流法和IMU积分的权重,通过对所述第一位姿信息和所述第二位姿信息进行加权求和,计算获得所述第二图像的位姿信息。
结合第二方面的第一种或第三种可能的实施方式,本申请实施例提供了第二方面的第五种可能的实施方式,所述第一计算模块包括:
提取单元,用于采用SLAM系统对所述第一图像进行特征点提取,获得所述第一图像的特征点;
第一计算单元,用于根据所述第一图像的特征点的世界坐标,采用SLAM系统计算获得所述第一图像的位姿信息。
结合第二方面的第五种可能的实施方式,本申请实施例提供了第二方面的第六种可能的实施方式,所述第二计算模块包括:
第二计算单元,用于将所述第一图像的特征点作为所述第二图像的特征点;
所述第二计算单元,还用于根据所述第二图像的特征点的世界坐标,采用光流法计算获得所述第二图像的第一位姿信息。
结合第二方面,本申请实施例提供了第二方面的第七种可能的实施方式,所述装置还包括:
生成模块,用于根据所述第一图像的位姿信息和所述第二图像的位姿信息,生成相应的相机位姿图。
第三方面,本申请实施例提供了一种SLAM系统相机跟踪装置,包括:存储器和处理器;
所述存储器,用于存储计算机程序;
其中,所述处理器执行所述存储器中的计算机程序,以实现上述第一方面至第一方面的第七种可能的实施方式中所述的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时用于实现上述第一方面至第一方面的第七种可能的实施方式中所述的方法。
与现有技术相比,本发明提供的SLAM系统相机跟踪方法及装置、计算机可读存储介质,通过采用SLAM系统计算相机本次采集到的第一图像的位姿信息,之后在SLAM系统再次进行计算前,针对相机在SLAM系统两次计算之间采集到的第二图像,采用预设的位姿算法计算该第二图像的位姿信息,其中,所述位姿算法的计算频率满足所述相机的采集频率,从而使得SLAM系统结合预设的位姿算法,能够实时计算相机采集到的图像的位姿信息,满足客户需求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的SLAM系统相机跟踪方法的流程示意图;
图2为本发明实施例二提供的SLAM系统相机跟踪方法的流程示意图;
图3为本发明实施例三提供的SLAM系统相机跟踪装置的结构示意图;
图4为本发明实施例四提供的SLAM系统相机跟踪装置的结构示意图;
图5为本发明实施例五提供的SLAM系统相机跟踪装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
图1为本发明实施例一提供的SLAM系统相机跟踪方法的流程示意图,如图1所示,该方法包括:
101、采用SLAM系统计算相机本次采集到的第一图像的位姿信息;
102、在所述SLAM系统再次计算前,针对所述相机采集到的第二图像,采用预设的位姿算法计算所述第二图像的位姿信息,所述位姿算法的计算频率满足所述相机的采集频率。
实际应用中,本实施例的执行主体可以为SLAM系统相机跟踪装置。在实际应用中,该SLAM系统相机跟踪装置可以通过虚拟装置,例如软件代码实现,也可以通过写入有相关执行代码的实体装置,例如,U盘实现,再或者,也可以通过集成有相关执行代码的实体装置实现,例如,芯片、智能机器人等。
结合实际场景进行示例:以本实施例的执行主体为SLAM系统相机跟踪装置为例,实际应用中,以构建地图为例,首先需要采集多个图像,针对每个图像计算该图像的位姿,从而根据计算获得的多个图像的位姿信息构建地图。然而针对高帧率图像的场景,由于SLAM系统本身的计算频率往往达不到相机的采集频率,也就是说SLAM系统相邻两次计算图像位姿信息的时间要长于相机两次采集图像的时间,因此在SLAM系统本次获取图像的位姿信息到下一次获取图像的位姿信息之间,高帧率相机还会采集有另外的多张图像,SLAM系统则由于自身计算频率的不足,而获取不到这些另外的多张图像的位姿信息,这样会降低计算的图像数量,即相同时间内获取到的图像位姿信息量不够多,进而降低地图构建的准确性。
针对上述问题,本申请首先针对当前采集到的图像采用SLAM进行计算,此后,针对再次能够进行SLAM计算之前采集到的图像,采用预设的计算频率可以满足图像采集频率的位姿算法来计算这些图像的位姿信息,从而实现高频图像位姿信息的实时计算,基于实时计算获得的所有图像的位姿信息,提高地图构建的准确性。
需要说明的是,基于SLAM系统的计算频率,在采用SLAM系统进行本次采集图像的位姿计算后,需要经过一定的时间方能再次采用SLAM系统进行计算,再次计算的对象可以为能够再次采用SLAM系统进行计算起首个采集到的图像。具体的,本实施例中提及的在SLAM系统再次计算前采集到的第二图像,指的是相邻次SLAM计算之间采集的图像。
举例来说:假设SLAM系统的计算频率是每10秒计算一次,图像采集频率是1秒采集一次,也就是说,在第1秒-第10秒的过程中,相机每秒依次采集一个图像,故依次采集到十个图像(图像1-图像10)。基于本方案,对于图像1采用SLAM算法计算图像1的位姿信息,相应的,下一次进行SLAM计算的时刻应为第10秒时,此时可采用SLAM算法计算图像10的位姿信息。进一步的,在进行下一次SLAM计算之前,针对采集到的图像2-图像9,则采用其计算频率能够满足图像采集频率的位姿算法计算其位姿信息。通过本申请的方案能够实时计算相机采集到的图像的位姿信息,从而提高地图构建的准确性,满足客户需求。
其中,采用SLAM系统计算位姿信息的方法可以有多种。作为一种示例,在任一实施方式的基础上,101具体可以包括:
201、采用SLAM系统对所述第一图像进行特征点提取,获得所述第一图像的特征点;
202、根据所述第一图像的特征点的世界坐标,采用SLAM系统计算获得所述第一图像的位姿信息。
具体地,采用SLAM系统对当前图像进行特征点提取,以获得图像的特征点及其像素坐标,通过相关技术换算得到其对应的世界坐标,根据该图像的特征点的世界坐标,采用SLAM系统可以计算获得该图像的位姿信息。
实际应用中,所述位姿算法可以为其计算频率能够满足图像采集频率的算法,即其计算频率不小于图像采集频率的算法。举例来说,所述位姿算法可以包括但不限于:光流法和/或IMU积分。
一种实施方式中,以光流法为例:上述步骤102中针对所述相机采集到的第二图像,采用预设的位姿算法计算所述第二图像的位姿信息,具体可以包括:
1021、采用光流法计算获得所述第二图像的位姿信息。
结合实际场景举例来说:光流法是对运动序列图像进行分析的一个重要方法,光流不仅包含图像中目标的运动信息,而且包含了三维物理结构的丰富信息,因此可用来确定目标的运动情况以及反映图像其它等信息。由于光流法的计算频率可以满足相机的采样频率,在SLAM系统相机跟踪装置处理第二图像时,可以采用光流法来进行处理,以计算获得第二图像的位姿信息,从而实现实时处理采集图像的效果。
另一种实施方式中,以IMU积分为例:上述步骤102中针对所述相机采集到的第二图像,采用预设的位姿算法计算所述第二图像的位姿信息,具体可以包括:
1022、采用IMU积分计算获得所述第二图像的位姿信息。
实际应用中,具体地,由于IMU(Inertial Measurement Unit,惯性测量单元,简称IMU)的计算频率可以满足相机的采样频率,在SLAM系统相机跟踪装置处理第二图像时,可以获取IMU在三维空间产生的加速度和角速度值,并对加速度和角速度值进行积分运算,得到IMU位姿预测结果,从而获得第二图像的位姿信息。
上述两种方式均能满足图像采集频率,为了进一步提高图像位姿信息计算的准确性,以两者结合后的优化算法进行示例:上述步骤102中针对所述相机采集到的第二图像,采用预设的位姿算法计算所述第二图像的位姿信息,具体可以包括:
301、采用光流法计算获得所述第二图像的第一位姿信息;
302、采用IMU积分计算获得所述第二图像的第二位姿信息;
303、根据所述第一位姿信息和所述第二位姿信息,获得所述第二图像的位姿信息。
实际应用中,具体地,由于光流法和IMU积分的计算频率都可以满足相机的采样频率,为了得到第二图像更精确的位姿信息,在SLAM系统相机跟踪装置处理第二图像时,可以采用光流法结合IMU积分来计算第二图像的位姿信息。具体的,采用光流法和IMU积分方法分别计算获得第二图像的第一位姿信息和第二位姿信息,其中,第一和第二是为了表明采用不同的计算方法获得的位姿信息,所述光流法和IMU积分的计算方法可以参考上述两种实施方式。然后根据第一位姿信息和第二位姿信息,来获得第二图像的位姿信息,其中,第一位姿信息和第二位姿信息的结合方式可以有多种,在此不做限定。
作为一种示例,本实施方式中,上述步骤303,具体可以包括以下步骤:
根据光流法和IMU积分的权重,通过对第一位姿信息和第二位姿信息进行加权求和,计算获得第二图像的位姿信息。
具体地,根据光流法和IMU积分来计算第二图像的位姿信息时,优选的,可以根据实际情况获得的光流法和IMU积分的权重,比如光流法的权重为0.6,IMU积分的权重为0.4,通过对第一位姿信息和第二位姿信息进行加权求和,计算获得第二图像更精确的位姿信息,从而提高地图构建的准确性。
进一步的,前述涉及光流法的任一实施方式中,所述采用光流法计算获得所述第二图像的位姿信息,具体可以包括:
将第一图像的特征点作为第二图像的特征点;
根据第二图像的特征点的世界坐标,采用光流法计算获得第二图像的位姿信息。
具体地,采用光流法计算第二图像的位姿信息时,首先将第一图像的特征点作为第二图像的特征点,然后采用光流法提取所述特征点的像素坐标,再根据SLAM系统处理第一图像时得到的特征点的世界坐标,来计算获得第二图像的位姿信息。本实施方式中,是充分考虑到高频图像采集的场景下,短期采集的连续图像其特征点相似度较高,所以为了进一步提高计算速度,本实施方式中针对第二图像的位姿计算过程中,直接采用提取的第一图像的特征点进行计算,而无需每次进行特征点的提取,从而在保证计算准确性的基础上,进一步提高了计算效率。
本实施例提供的SLAM系统相机跟踪方法,通过采用SLAM系统计算相机本次采集到的第一图像的位姿信息,之后在SLAM系统再次进行计算前,针对相机在SLAM系统两次计算之间采集到的第二图像,采用预设的位姿算法计算该第二图像的位姿信息,其中,所述位姿算法的计算频率满足所述相机的采集频率,从而使得SLAM系统结合预设的位姿算法,能够实时计算相机采集到的图像的位姿信息,从而提高地图构建的准确性,满足客户需求。
实施例二
图2为本发明实施例二提供的SLAM系统相机跟踪方法的流程示意图,如图2所示,在上述实施例一的基础上,该方法还可以包括:
401、根据第一图像的位姿信息和第二图像的位姿信息,生成相应的相机位姿图。
实际应用中,具体地,为了进行地图构建,SLAM系统相机跟踪装置根据获得的第一图像的位姿信息和第二图像的位姿信息,得到第一图像对应的相机位姿和第二图像对应的相机位姿,从而可以生成相应的相机位姿图,即可以得到相机的运动轨迹,由于可以实时计算相机采集到的图像的位姿信息,因此可以得到准确度较高的相机位姿图,从而提够了地图构建的准确性。
本实施例提供的SLAM系统相机跟踪方法,根据第一图像的位姿信息和第二图像的位姿信息,生成相应的相机位姿图,可以得到准确度较高的相机位姿图,从而提够了地图构建的准确性,以满足客户需求。
下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
实施例三
图3为本发明实施例三提供的SLAM系统相机跟踪装置的结构示意图,如图3所示,该装置可以包括:
第一计算模块501,用于采用SLAM系统计算相机本次采集到的第一图像的位姿信息;
第二计算模块502,用于在所述SLAM系统再次计算前,针对所述相机采集到的第二图像,采用预设的位姿算法计算所述第二图像的位姿信息,所述位姿算法的计算频率满足所述相机的采集频率。
需要说明的是,基于SLAM系统的计算频率,在采用SLAM系统进行本次采集图像的位姿计算后,需要经过一定的时间方能再次采用SLAM系统进行计算,再次计算的对象可以为能够再次采用SLAM系统进行计算起首个采集到的图像。具体的,本实施例中提及的在SLAM系统再次计算前采集到的第二图像,指的是相邻次SLAM计算之间采集的图像。
一种实施方式中,第二计算模块502,具体用于采用光流法计算获得所述第二图像的位姿信息。
另一种实施方式中,第二计算模块502,具体用于采用IMU积分计算获得所述第二图像的位姿信息。
另一种实施方式中,第二计算模块502,具体用于采用光流法计算获得所述第二图像的第一位姿信息;
第二计算模块502,还具体用于采用IMU积分计算获得所述第二图像的第二位姿信息;
第二计算模块502,还具体用于根据所述第一位姿信息和所述第二位姿信息,获得所述第二图像的位姿信息。
具体地,第二计算模块502,具体用于根据光流法和IMU积分的权重,通过对所述第一位姿信息和所述第二位姿信息进行加权求和,计算获得所述第二图像的位姿信息。
另一种实施方式中,第一计算模块501可以包括:
提取单元,用于采用SLAM系统对所述第一图像进行特征点提取,获得所述第一图像的特征点;
第一计算单元,用于根据所述第一图像的特征点的世界坐标,采用SLAM系统计算获得所述第一图像的位姿信息。
另一种实施方式中,第二计算模块502可以包括:
第二计算单元,用于将所述第一图像的特征点作为所述第二图像的特征点;
第二计算单元,还用于根据所述第二图像的特征点的世界坐标,采用光流法计算获得所述第二图像的第一位姿信息。
本实施例提供的SLAM系统相机跟踪装置,通过采用SLAM系统计算相机本次采集到的第一图像的位姿信息,之后在SLAM系统再次进行计算前,针对相机在SLAM系统两次计算之间采集到的第二图像,采用预设的位姿算法计算该第二图像的位姿信息,其中,所述位姿算法的计算频率满足所述相机的采集频率,从而使得SLAM系统结合预设的位姿算法,能够实时计算相机采集到的图像的位姿信息,满足客户需求。
实施例四
图4为本发明实施例四提供的SLAM系统相机跟踪装置的结构示意图,如图4所示,所述装置还可以包括:
生成模块601,用于根据所述第一图像的位姿信息和所述第二图像的位姿信息,生成相应的相机位姿图。
本实施例提供的SLAM系统相机跟踪装置,根据第一图像的位姿信息和第二图像的位姿信息,生成相应的相机位姿图,可以得到准确度较高的相机位姿图,从而提够了地图构建的准确性,以满足客户需求。
在一个示例中,根据本申请实施例的各个模块可以作为一个软件模块和/或硬件模块而集成到该定位系统中。上述各个模块可以是该基于SLAM的定位设备的操作系统中的一个软件模块,或者可以是针对于该基于SLAM的定位设备所开发的一个应用程序。当然,上述各个模块同样可以是该基于SLAM的定位设备的众多硬件模块之一。
实施例五
图5为本发明实施例五提供的SLAM系统相机跟踪装置的结构示意图,如图5所示,该装置包括:存储器701和处理器702;
存储器701,用于存储计算机程序;
其中,处理器702执行存储器701中的计算机程序,以实现如上所述各方法实施例所提供的方法。
在实施例中,以一电子设备对本发明提供的SLAM系统相机跟踪装置进行示例。处理器可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备中的其他组件以执行期望的功能。
存储器可以包括一个或多个计算机程序产品,计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器可以运行程序指令,以实现上文的本申请的各个实施例的SLAM系统相机跟踪方法以及/或者其他期望的功能。在计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中,电子设备还可以包括:输入装置703和输出装置704,这些组件通过总线系统和/或其他形式的连接机构互连。
例如,输入装置可以包括触摸屏、鼠标、键盘、麦克、通信网络连接器等,用于采集输入信号。
输出装置可以向外部输出各种信息,包括确定出的距离信息、方向信息等。该输出设备可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等。
根据具体应用情况,电子设备还可以包括任何其他适当的组件。
本实施例提供的SLAM系统相机跟踪装置,可以实现上所各方法实施例所提供的SLAM系统相机跟踪方法,能够实时计算相机采集到的图像的位姿信息,从而提高地图构建的准确性,满足客户需求。
本申请实施例六提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,该计算机程序被处理器执行时用于实现如上所述各方法实施例所提供的方法。
实际应用中,本实施例中的计算机程序可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码,程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
实际应用中,计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (18)

1.一种SLAM系统相机跟踪方法,其特征在于,包括:
采用SLAM系统计算相机本次采集到的第一图像的位姿信息;
根据所述SLAM系统的计算频率,在所述SLAM系统再次计算前,针对所述相机采集到的第二图像,采用预设的位姿算法计算所述第二图像的位姿信息,所述位姿算法的计算频率满足所述相机的采集频率;
所述再次计算的对象为能够再次采用SLAM系统进行计算起首个采集到的图像,所述第二图像是相邻次SLAM计算之间采集的图像。
2.根据权利要求1所述的方法,其特征在于,所述针对所述相机采集到的第二图像,采用预设的位姿算法计算所述第二图像的位姿信息,包括:
采用光流法计算获得所述第二图像的位姿信息。
3.根据权利要求1所述的方法,其特征在于,所述针对所述相机采集到的第二图像,采用预设的位姿算法计算所述第二图像的位姿信息,包括:
采用IMU积分计算获得所述第二图像的位姿信息。
4.根据权利要求1所述的方法,其特征在于,所述针对所述相机采集到的第二图像,采用预设的位姿算法计算所述第二图像的位姿信息,包括:
采用光流法计算获得所述第二图像的第一位姿信息;
采用IMU积分计算获得所述第二图像的第二位姿信息;
根据所述第一位姿信息和所述第二位姿信息,获得所述第二图像的位姿信息。
5.根据权利要求4所述的方法,其特征在于,所述根据所述第一位姿信息和所述第二位姿信息,获得所述第二图像的位姿信息,包括:
根据光流法和IMU积分的权重,通过对所述第一位姿信息和所述第二位姿信息进行加权求和,计算获得所述第二图像的位姿信息。
6.根据权利要求2或4所述的方法,其特征在于,所述采用SLAM系统计算相机本次采集到的第一图像的位姿信息,包括:
采用SLAM系统对所述第一图像进行特征点提取,获得所述第一图像的特征点;
根据所述第一图像的特征点的世界坐标,采用SLAM系统计算获得所述第一图像的位姿信息。
7.根据权利要求6所述的方法,其特征在于,所述采用光流法计算获得所述第二图像的第一位姿信息,包括:
将所述第一图像的特征点作为所述第二图像的特征点;
根据所述第二图像的特征点的世界坐标,采用光流法计算获得所述第二图像的第一位姿信息。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据所述第一图像的位姿信息和所述第二图像的位姿信息,生成相应的相机位姿图。
9.一种SLAM系统相机跟踪装置,其特征在于,包括:
第一计算模块,用于采用SLAM系统计算相机本次采集到的第一图像的位姿信息;
第二计算模块,用于根据所述SLAM系统的计算频率,在所述SLAM系统再次计算前,针对所述相机采集到的第二图像,采用预设的位姿算法计算所述第二图像的位姿信息,所述位姿算法的计算频率满足所述相机的采集频率;所述再次计算的对象为能够再次采用SLAM系统进行计算起首个采集到的图像,所述第二图像是相邻次SLAM计算之间采集的图像。
10.根据权利要求9所述的装置,其特征在于,
所述第二计算模块,具体用于采用光流法计算获得所述第二图像的位姿信息。
11.根据权利要求9所述的装置,其特征在于,
所述第二计算模块,具体用于采用IMU积分计算获得所述第二图像的位姿信息。
12.根据权利要求9所述的装置,其特征在于,
所述第二计算模块,具体用于采用光流法计算获得所述第二图像的第一位姿信息;
所述第二计算模块,还具体用于采用IMU积分计算获得所述第二图像的第二位姿信息;
所述第二计算模块,还具体用于根据所述第一位姿信息和所述第二位姿信息,获得所述第二图像的位姿信息。
13.根据权利要求12所述的装置,其特征在于,
所述第二计算模块,具体用于根据光流法和IMU积分的权重,通过对所述第一位姿信息和所述第二位姿信息进行加权求和,计算获得所述第二图像的位姿信息。
14.根据权利要求10或12所述的装置,其特征在于,所述第一计算模块包括:
提取单元,用于采用SLAM系统对所述第一图像进行特征点提取,获得所述第一图像的特征点;
第一计算单元,用于根据所述第一图像的特征点的世界坐标,采用SLAM系统计算获得所述第一图像的位姿信息。
15.根据权利要求14所述的装置,其特征在于,所述第二计算模块包括:
第二计算单元,用于将所述第一图像的特征点作为所述第二图像的特征点;
所述第二计算单元,还用于根据所述第二图像的特征点的世界坐标,采用光流法计算获得所述第二图像的第一位姿信息。
16.根据权利要求9所述的装置,其特征在于,所述装置还包括:
生成模块,用于根据所述第一图像的位姿信息和所述第二图像的位姿信息,生成相应的相机位姿图。
17.一种SLAM系统相机跟踪装置,包括:存储器和处理器;
所述存储器,用于存储计算机程序;
其中,所述处理器执行所述存储器中的计算机程序,以实现如权利要求1-8中任一项所述的方法。
18.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时用于实现如权利要求1-8中任一项所述的方法。
CN201810878312.0A 2018-08-03 2018-08-03 Slam系统相机跟踪方法及装置、计算机可读存储介质 Active CN109035303B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810878312.0A CN109035303B (zh) 2018-08-03 2018-08-03 Slam系统相机跟踪方法及装置、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810878312.0A CN109035303B (zh) 2018-08-03 2018-08-03 Slam系统相机跟踪方法及装置、计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN109035303A CN109035303A (zh) 2018-12-18
CN109035303B true CN109035303B (zh) 2021-06-08

Family

ID=64648447

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810878312.0A Active CN109035303B (zh) 2018-08-03 2018-08-03 Slam系统相机跟踪方法及装置、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN109035303B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862288A (zh) * 2020-07-29 2020-10-30 北京小米移动软件有限公司 一种位姿渲染方法、装置及介质
CN112948411B (zh) * 2021-04-15 2022-10-18 深圳市慧鲤科技有限公司 位姿数据的处理方法及接口、装置、系统、设备和介质
CN116148883B (zh) * 2023-04-11 2023-08-08 锐驰智慧科技(安吉)有限公司 基于稀疏深度图像的slam方法、装置、终端设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8831277B1 (en) * 2009-10-02 2014-09-09 Rockwell Collins, Inc. Optical helmet tracking system
CN106887037A (zh) * 2017-01-23 2017-06-23 杭州蓝芯科技有限公司 一种基于gpu和深度相机的室内三维重建方法
CN107153831A (zh) * 2017-03-28 2017-09-12 宇龙计算机通信科技(深圳)有限公司 智能终端的定位方法、系统及智能终端

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105931275A (zh) * 2016-05-23 2016-09-07 北京暴风魔镜科技有限公司 基于移动端单目和imu融合的稳定运动跟踪方法和装置
CN107885871A (zh) * 2017-11-24 2018-04-06 南京华捷艾米软件科技有限公司 基于云计算的同步定位与地图构建方法、系统、交互系统
CN108062776B (zh) * 2018-01-03 2019-05-24 百度在线网络技术(北京)有限公司 相机姿态跟踪方法和装置
CN108332750A (zh) * 2018-01-05 2018-07-27 深圳市功夫机器人有限公司 机器人定位方法及终端设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8831277B1 (en) * 2009-10-02 2014-09-09 Rockwell Collins, Inc. Optical helmet tracking system
CN106887037A (zh) * 2017-01-23 2017-06-23 杭州蓝芯科技有限公司 一种基于gpu和深度相机的室内三维重建方法
CN107153831A (zh) * 2017-03-28 2017-09-12 宇龙计算机通信科技(深圳)有限公司 智能终端的定位方法、系统及智能终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Computation Sharing in Distributed Robotic Systems: A Case Study on SLAM;Bruno Duarte Gouveia等;《IEEE Transactions on Automation Science and Engineering》;20150430;第410-422页 *

Also Published As

Publication number Publication date
CN109035303A (zh) 2018-12-18

Similar Documents

Publication Publication Date Title
CN107888828B (zh) 空间定位方法及装置、电子设备、以及存储介质
CN110163903B (zh) 三维图像的获取及图像定位方法、装置、设备和存储介质
EP3621034B1 (en) Method and apparatus for calibrating relative parameters of collector, and storage medium
CN108876804B (zh) 抠像模型训练和图像抠像方法、装置和系统及存储介质
CN109035303B (zh) Slam系统相机跟踪方法及装置、计算机可读存储介质
US20210019542A1 (en) Multi-Angle Object Recognition
CN113378770B (zh) 手势识别方法、装置、设备、存储介质
CN115147558B (zh) 三维重建模型的训练方法、三维重建方法及装置
JP7273129B2 (ja) 車線検出方法、装置、電子機器、記憶媒体及び車両
US20220230350A1 (en) Position recognition method and system based on visual information processing
US20210256245A1 (en) Real-time multi-view detection of objects in multi-camera environments
CN114241597A (zh) 一种姿态识别方法及其相关设备
CN113610702B (zh) 一种建图方法、装置、电子设备及存储介质
CN113705390B (zh) 定位方法、装置、电子设备和存储介质
KR101586007B1 (ko) 데이터 처리 장치 및 방법
CN110956131B (zh) 单目标追踪方法、装置及系统
CN114674328B (zh) 地图生成方法、装置、电子设备、存储介质、及车辆
CN114332509B (zh) 图像处理方法、模型训练方法、电子设备及自动驾驶车辆
CN114187509B (zh) 对象定位方法、装置、电子设备以及存储介质
CN114220163B (zh) 人体姿态估计方法、装置、电子设备及存储介质
CN112465971B (zh) 模型中点位的引导方法和装置、存储介质、电子设备
CN116486230B (zh) 基于半递归特征金字塔结构的图像检测方法及存储介质
CN116012624B (zh) 定位方法、装置、电子设备、介质以及自动驾驶设备
CN112880675B (zh) 用于视觉定位的位姿平滑方法、装置、终端和移动机器人
JP2022186299A (ja) 位置特定装置、位置特定方法及び位置特定システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant