CN110634150B - 一种即时定位与地图构建的生成方法、系统及装置 - Google Patents

一种即时定位与地图构建的生成方法、系统及装置 Download PDF

Info

Publication number
CN110634150B
CN110634150B CN201810662032.6A CN201810662032A CN110634150B CN 110634150 B CN110634150 B CN 110634150B CN 201810662032 A CN201810662032 A CN 201810662032A CN 110634150 B CN110634150 B CN 110634150B
Authority
CN
China
Prior art keywords
key frame
target area
frame group
semi
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810662032.6A
Other languages
English (en)
Other versions
CN110634150A (zh
Inventor
吴旭宾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SAIC Motor Corp Ltd
Shanghai Automotive Industry Corp Group
Original Assignee
SAIC Motor Corp Ltd
Shanghai Automotive Industry Corp Group
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SAIC Motor Corp Ltd, Shanghai Automotive Industry Corp Group filed Critical SAIC Motor Corp Ltd
Priority to CN201810662032.6A priority Critical patent/CN110634150B/zh
Publication of CN110634150A publication Critical patent/CN110634150A/zh
Application granted granted Critical
Publication of CN110634150B publication Critical patent/CN110634150B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种即时定位与地图构建的生成方法，包括：获取目标区域内各个关键帧组，其中，每一个关键帧组代表所述目标区域中的一个局部区域；分别将每一个关键帧组中包含的第一预设数量的视频帧进行解码并提取对应的特征值；依据每一个关键帧组对应的特征值，计算对应的局部区域的运动参量；依据每一个关键帧组的特征值和其对应局部区域的运动参量，对所述目标区域进行三维重建，得到所述目标区域的半稠密点云。上述的方法，依据关键帧组的特征值和其运动参量对所述目标区域进行三维重建，得到了半稠密点云，避免了采用VSLAM技术得到的点云是稀疏点云，而稀疏点云无法应用于导航的问题。

Description

一种即时定位与地图构建的生成方法、系统及装置
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种即时定位与地图构建的生成方法、系统及装置。
背景技术
即时定位与地图构建技术SLAM(simultaneous localization and mapping)是一种通过视觉算法分析摄像机运动特性，实现地图构建和同步定位功能的技术。系统能够实时分析车载摄像机视频码流，计算运动参数及跟踪关键帧，最终得到点云数据，其中，基于视觉的时定位与地图构建的生成技术VSLAM(visualsimultaneous localization andmapping)方案具有更低的成本优势，目前普遍应用。
但是，发明人对现有的VSLAM技术进行研究发现，得到的点云是稀疏点云，而稀疏点云无法应用于导航
发明内容
有鉴于此，本发明提供了一种即时定位与地图构建的生成方法及系统，用以解决现有技术中采用VSLAM技术得到的点云是稀疏点云，而稀疏点云无法应用于导航的问题。具体方案如下：
一种即时定位与地图构建的生成方法，包括：
获取目标区域内各个关键帧组，其中，每一个关键帧组代表所述目标区域中的一个局部区域；
分别将每一个关键帧组中包含的第一预设数量的视频帧进行解码并提取对应的特征值；
依据每一个关键帧组对应的特征值，计算对应的局部区域的运动参量；
依据每一个关键帧组的特征值和其对应局部区域的运动参量，对所述目标区域进行三维重建，得到所述目标区域的半稠密点云。
上述的方法，可选的，还包括：对所述目标区域的半稠密点云进行保存。
上述的方法，可选的，获取目标区域内各个关键帧组包括：
获取所述目标区域内的各个视频帧；
在所述各个视频帧中选取第二预设数量的参考帧；
以每一个参考帧为分割点，选取所述第一预设数量的视频帧，得到所述目标区域包含的各个关键帧组。
上述的方法，可选的，依据每一个关键帧组的特征值和其对应局部区域的运动参量，对所述目标区域进行三维重建，得到所述目标区域的半稠密点云，包括：
依据每一个关键帧组的特征值和其对应的运动参量，进行局部半稠密点云的构建；
当接收到构建完成指令时，对所述各个关键帧对应的局部半稠密点云进行三维重建，得到所述目标区域的半稠密点云。
上述的方法，可选的，依据每一个关键帧组的特征值和对应的运动参量，进行局部半稠密点云的构建还包括：
对每一个局部半稠密点云进行局部光束平差优化。
上述的方法，可选的，还包括：
对所述目标区域的半稠密点云进行回环检测和回环融合。
一种即时定位与地图构建的生成系统，包括：
获取模块，用于获取目标区域内各个关键帧组，其中，每一个关键帧组代表所述目标区域中的一个局部区域；
提取模块，用于分别将每一个关键帧组中包含的第一预设数量的视频帧进行解码并提取对应的特征值；
计算模块，用于依据每一个关键帧组对应的特征值，计算对应的局部区域的运动参量；
重建模块，用于依据每一个关键帧组的特征值和其对应局部区域的运动参量，对所述目标区域进行三维重建，得到所述目标区域的半稠密点云。
上述的系统，可选的，所述获取模块包括：
获取单元，用于获取所述目标区域内的各个视频帧；
第一选取单元，用于在所述各个视频帧中选取第二预设数量的参考帧；
第二选取单元，用于以每一个参考帧为分割点，选取所述第一预设数量的视频帧，得到所述目标区域包含的各个关键帧组。
上述的系统，可选的，所述重建模块包括：
构建单元，用于依据每一个关键帧组的特征值和对应的运动参量，进行局部半稠密点云的构建；
重建单元，用于当接收到构建完成指令时，对所述各个关键帧对应的局部半稠密点云进行三维重建，得到所述目标区域的半稠密点云。
一种即时定位与地图构建的生成装置，其特征在于，所述生成装置执行上述的即时定位与地图构建的生成方法。
与现有技术相比，本发明包括以下优点：
本发明公开了一种即时定位与地图构建的生成方法，包括：获取目标区域内各个关键帧组，其中，每一个关键帧组代表所述目标区域中的一个局部区域；分别将每一个关键帧组中包含的第一预设数量的视频帧进行解码并提取对应的特征值；依据每一个关键帧组对应的特征值，计算对应的局部区域的运动参量；依据每一个关键帧组的特征值和其对应局部区域的运动参量，对所述目标区域进行三维重建，得到所述目标区域的半稠密点云。上述的方法，依据关键帧组的特征值和其运动参量对所述目标区域进行三维重建，得到了半稠密点云，避免了采用VSLAM技术得到的点云是稀疏点云，而稀疏点云无法应用于导航的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例公开的一种即时定位与地图构建的生成方法的方法流程图；
图2为本申请实施例公开的一种即时定位与地图构建的生成方法的又一方法流程图；
图3为本申请实施例公开的一种即时定位与地图构建的生成方法的又一方法流程图；
图4为本申请实施例公开的一种即时定位与地图构建的生成方法的又一方法流程图；
图5为本申请实施例公开的一种即时定位与地图构建的生成系统结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
本发明公开了一种即时定位与地图构建的生成方法，所述生成方法应用在某一区域点云的生成过程中，所述方法的执行主体可以为一种处理器或者控制器，用于控制点云的生成，本发明实施例中，采用即时定位与即时定位与地图构建技术SLAM(simultaneouslocalization and mapping)生成半稠密点云，所述SLAM是一种通过视觉算法分析摄像机运动特性，实现即时定位与地图构建和同步定位功能的技术。系统能够实时分析车载摄像机视频码流，计算运动参数及跟踪关键帧，生成半稠密点云。现有的SLAM方法主要有单目、双目及深度相机方案，其中，单目的基于视觉的时定位与地图构建的生成技术VSLAM(visualsimultaneous localization and mapping)方案具有更低的成本优势。本发明以单目VSLAM为出发点，通过半稠密化ORB_SLAM2框架实现改进最终实现半稠密点云的生成，所述生成方法的执行流程如图1所示，包括步骤：
S101、获取目标区域内各个关键帧组，其中，每一个关键帧组代表所述目标区域中的一个局部区域；
本发明实施例中，所述目标区域为当前需要生成半稠密点云的区域，所述目标区域由至少一个关键帧组成，每一个关键帧组中的包含的各个关键帧可以代表所述目标区域中的一个局部区域。
S102、分别将每一个关键帧组中包含的第一预设数量的视频帧进行解码并提取对应的特征值；
本发明实施中，每一个关键帧组中包含第一预设数量的关键帧，所述第一数量的选取与当前目标区域的复杂程度、采集的精度和采集设备的运动和旋转的速度等因素有关，其中，采集设备采集的为视频帧，需要对视频帧进行解码，提取特征值，其中，特征值的提取方法主要有尺度不变特征变换SIFT(Scale-invariant feature transform)，加速稳健特征算法SURF(SpeededUpRobustFeature)，快速特征点提取和描述算法ORB(OrientedFAST and Rotated BRIEF)等，本发明实施例中，优选的采用ORB算法，所述采集设备为单目相机。
S103、依据每一个关键帧组对应的特征值，计算对应的局部区域的运动参量；
本发明实施例中，依据每一个关键帧组中各个关键帧的特征值建立最小二乘方程确定对应的局部区域的运动参量，其中，所述运动参量为旋转参量、平移参量和伸缩参量三个。构建最小二乘方程时，在关键帧组中各个关键帧之间进行特征匹配，确定重合区域，选取关键帧对应的局部区域中重合区域的特征值和非重合区域的特征值进行最小二乘方程的构建，依据构建的最小二乘方程确定对应的局部区域的运动参量，其中，每一个局部区域的运动参量可以相同也可以不同，当通常在误差允许的范围内进行波动。
S104、依据每一个关键帧组的特征值和其对应局部区域的运动参量，对所述目标区域进行三维重建，得到所述目标区域的半稠密点云。
本发明实施例中，由于关键帧的组关键值和对应的局部区域的运动参量是由稀疏点云组成的，稀疏点云无法应用导航，本发明实施例中，采用半稠密的SLAM方法将稀疏点云数据进行三维重建，实时得到所述目标区域的半稠密点云。其中，优选的，将得到的所述目标区域的半稠密点云进行保存。
本发明实施例中，依据ORB方法采用二进制构建描述符提高速度，具有良好的尺寸不变性和抑制噪声性能，该算法的关键点检测基于FAST算法并借鉴Rosin的方法计算关键帧的方向，方向信息在关键帧特征匹配的过程是十分有用的，ORB特征检测出多尺度下关键点的方向，基于此结果，ORB描述是通过简单的灰度比较提取出代表每个特征点的描述符，通过随机选取关键帧内领域内的像素点进行比较获得二进制描述符，比较选取的像素点的灰度值，如果第一个像素的灰度值大于第二个像素的灰度值，则对应该位描述为1，否则为0。其中，所有关键帧的特征值获取时，选择像素点对的策略相同。
本发明实施例中，优选的，为例减小特征值提取的耗时，可以对各个视频帧采用跳帧结合帧间压缩的方式提高压缩比并采用图像处理器对视频帧进行处理。
本发明公开了一种即时定位与地图构建的生成方法，包括：获取目标区域内各个关键帧组，其中，每一个关键帧组代表所述目标区域中的一个局部区域；分别将每一个关键帧组中包含的第一预设数量的视频帧进行解码并提取对应的特征值；依据每一个关键帧组对应的特征值，计算对应的局部区域的运动参量；依据每一个关键帧组的特征值和其对应局部区域的运动参量，对所述目标区域进行三维重建，得到所述目标区域的半稠密点云。上述的方法，依据关键帧组的特征值和其运动参量对所述目标区域进行三维重建，得到了半稠密点云，避免了采用VSLAM技术得到的点云是稀疏点云，而稀疏点云无法应用于导航的问题。
本发明实施例中，获取目标区域内各个关键帧组的方法流程如图2所示，包括步骤：
S201、获取所述目标区域内的各个视频帧；
本发明实施例中，采集设备安装于汽车内，汽车依据预设的车速在所述目标区域内行驶，所述采集设备以预设的采集频率采集所述目标区域内的各个视频帧。其中，所述预设的车速优选的为20KM/h，预设的采集频率与目标区域的复杂程度和采集极度的要求等有关。
其中，优选的，将采集到的各个视频帧进行保存，优选的存储格式为bin，该格式可以节约加载时间。
S202、在所述各个视频帧中选取第二预设数量的参考帧；
本发明实施例中，所述预设的第二预设数量的参考帧的选取原则为可以依据等间距的原则进行选取也可以依据目标区域内的不同局部区域的复杂程度进行区别选取，选定参考帧后，作采集设备的姿态初始化。
S203、以每一个参考帧为分割点，选取所述第一预设数量的视频帧，得到所述目标区域包含的各个关键帧组。
本发明实施例中，所述第一预设数量可以将当前关键帧组中的全部视频帧作为关键帧，也可以将选取的一部分视频帧作为关键帧，选取的原则为以当前的视频帧为起点，选取所述第一预设数量的视频帧，依据上述的方法，得到所述目标区域包含的各个关键帧组。
本发明实施例中，依据每一个关键帧组的特征值和其对应局部区域的运动参量，对所述目标区域进行三维重建，得到所述目标区域的半稠密点云的方法流程如图3所示，包括步骤：
S301、依据每一个关键帧组的特征值和其对应的运动参量，进行局部半稠密点云的构建；
本发明实施例中，依据每一个关键帧组的特征值和其对应的运动参量进行所述目标区域中局部区域半稠密点云的三维重建，优选的，对得到的每一个局部半稠密点云进行局部光束平差优化。
其中，光束平差法的最终目的归结为：减少局部半稠密点云的点和参考图像(预测图像)的点之间位置投影变换(再投影)误差。这最小化误差算法使用的是最小二乘算法，目前使用最为成功是Levenberg-Marquardt,它具有易于实现，对大范围的初始估计能够快速收敛的优点。
S302、当接收到构建完成指令时，对所述各个关键帧对应的局部即半稠密点云进行三维重建，得到所述目标区域的半稠密点云。
本发明实施例中，当所述目标区域的各个关键帧组对应的局部半稠密点云均构建完成时，还需要对各个局部半稠密点云进行三维重建，实时得到所述目标区域的半稠密点云，其中，优选的，对所述目标区域的半稠密点云进行回环检测和回环融合。
其中，回环检测的目的是为了判断所述采集设备是否再次进入同一地点，判断是否经过闭合回路又回到了曾经经过的地点，由于误差的不断累积，估计值与真实值差别较大，需要对整个回路的位姿进行优化。
其中，回环融合是融合重复的点云，并且插入新的边以连接闭环。首先当前帧的位姿会根据相似变换而被矫正，同时所有与其相连的关键帧也会被矫正。所有的被闭环处的关键帧观察到的半稠密点云会通过映射在一个小范围里，然后去搜索它的近邻匹配。这样就可以对所有匹配的点云进行更加有效的数据融合，并更新关键帧位姿，以及在半稠密点云中的边。
本发明实施例中，上述的即时定位与地图构建生成方法执行流程如图4所示，基于上述的即时定位与地图构建生成方法，本发明实施例中还提供了一种即时定位与地图构建生成装置，其中，所述生成装置包括单目摄像机，车载网关，车载主机和车载路由等，用于执行如下的方法：
获取目标区域内各个关键帧组，其中，每一个关键帧组代表所述目标区域中的一个局部区域；
分别将每一个关键帧组中包含的第一预设数量的视频帧进行解码并提取对应的特征值；
依据每一个关键帧组对应的特征值，计算对应的局部区域的运动参量；
依据每一个关键帧组的特征值和其对应局部区域的运动参量，对所述目标区域进行三维重建，得到所述目标区域的半稠密点云。
上述的方法，可选的，还包括：对所述目标区域的半稠密点云进行保存。
上述的方法，可选的，获取目标区域内各个关键帧组包括：
获取所述目标区域内的各个视频帧；
在所述各个视频帧中选取第二预设数量的参考帧；
以每一个参考帧为分割点，选取所述第一预设数量的视频帧，得到所述目标区域包含的各个关键帧组。
上述的方法，可选的，依据每一个关键帧组的特征值和其对应局部区域的运动参量，对所述目标区域进行三维重建，得到所述目标区域的半稠密点云，包括：
依据每一个关键帧组的特征值和其对应的运动参量，进行局部半稠密点云的构建；
当接收到构建完成指令时，对所述各个关键帧对应的局部半稠密点云进行三维重建，得到所述目标区域的半稠密点云。
上述的方法，可选的，依据每一个关键帧组的特征值和对应的运动参量，进行局部半稠密点云的构建还包括：
对每一个局部半稠密点云进行局部光束平差优化。
上述的方法，可选的，还包括：
对所述目标区域的半稠密点云进行回环检测和回环融合。
本发明实施例中，基于上述的即时定位与地图构建生成方法，本发明实施例还提供了一种即时定位与地图构建生成系统，所述即时定位与地图构建生成系统的结构框图如图5所示，包括：
获取模块401，提取模块402，计算模块403和重建模块404。
其中，
所述获取模块401，用于获取目标区域内各个关键帧组，其中，每一个关键帧组代表所述目标区域中的一个局部区域；
所述提取模块402，用于分别将每一个关键帧组中包含的第一预设数量的视频帧进行解码并提取对应的特征值；
所述计算模块403，用于依据每一个关键帧组对应的特征值，计算对应的局部区域的运动参量；
所述重建模块404，用于依据每一个关键帧组的特征值和其对应局部区域的运动参量，对所述目标区域进行三维重建，得到所述目标区域的半稠密点云。
本发明公开了一种即时定位与地图构建的生成系统，包括：获取目标区域内各个关键帧组，其中，每一个关键帧组代表所述目标区域中的一个局部区域；分别将每一个关键帧组中包含的第一预设数量的视频帧进行解码并提取对应的特征值；依据每一个关键帧组对应的特征值，计算对应的局部区域的运动参量；依据每一个关键帧组的特征值和其对应局部区域的运动参量，对所述目标区域进行三维重建，得到所述目标区域的半稠密点云。上述的系统，依据关键帧组的特征值和其运动参量对所述目标区域进行三维重建，得到了半稠密点云，避免了采用VSLAM技术得到的点云是稀疏点云，而稀疏点云无法应用于导航的问题。
本发明实施例中，所述获取模块401包括：
获取单元405，第一选取单元406和第二选取单元407。
其中，
所述获取单元405，用于获取所述目标区域内的各个视频帧；
所述第一选取单元406，用于在所述各个视频帧中选取第二预设数量的参考帧；
第所述二选取单元407，用于以每一个参考帧为分割点，选取所述第一预设数量的视频帧，得到所述目标区域包含的各个关键帧组。
本发明实施例中，所述重建模块404包括：
构建单元408和重建单元409。
其中，
所述构建单元408，用于依据每一个关键帧组的特征值和对应的运动参量，进行局部半稠密点云的构建；
所述重建单元409，用于当接收到构建完成指令时，对所述各个关键帧对应的局部半稠密点云进行三维重建，得到所述目标区域的半稠密点云。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
以上对本发明所提供的一种即时定位与地图构建的生成方法、系统及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种即时定位与地图构建的生成方法，其特征在于，以单目VSLAM为出发点，通过半稠密化ORB_SLAM2框架实现改进最终实现半稠密点云的生成，采集设备为单目相机，采集设备采集的为视频帧，包括：
获取目标区域内各个关键帧组，其中，每一个关键帧组代表所述目标区域中的一个局部区域；
分别将每一个关键帧组中包含的第一预设数量的视频帧进行解码并提取对应的特征值，其中，采用ORB算法提取特征值；
依据每一个关键帧组对应的特征值，计算对应的局部区域的运动参量，所述运动参量为旋转参量、平移参量和伸缩参量三个；
依据每一个关键帧组的特征值和其对应局部区域的运动参量，对所述目标区域进行三维重建，得到所述目标区域的半稠密点云；
其中，依据每一个关键帧组对应的特征值，计算对应的局部区域的运动参量，所述运动参量为旋转参量、平移参量和伸缩参量三个，具体包括：
依据每一个关键帧组中各个关键帧的特征值建立最小二乘方程确定对应的局部区域的运动参量，其中，构建最小二乘方程时，在关键帧组中各个关键帧之间进行特征匹配，确定重合区域，选取关键帧对应的局部区域中重合区域的特征值和非重合区域的特征值进行最小二乘方程的构建。
2.根据权利要求1所述的方法，其特征在于，还包括：对所述目标区域的半稠密点云进行保存。
3.根据权利要求1所述的方法，其特征在于，获取目标区域内各个关键帧组包括：
获取所述目标区域内的各个视频帧；
在所述各个视频帧中选取第二预设数量的参考帧；
以每一个参考帧为分割点，选取所述第一预设数量的视频帧，得到所述目标区域包含的各个关键帧组。
4.根据权利要求1所述的方法，其特征在于，依据每一个关键帧组的特征值和其对应局部区域的运动参量，对所述目标区域进行三维重建，得到所述目标区域的半稠密点云，包括：
依据每一个关键帧组的特征值和其对应的运动参量，进行局部半稠密点云的构建；
当接收到构建完成指令时，对所述各个关键帧对应的局部半稠密点云进行三维重建，得到所述目标区域的半稠密点云。
5.根据权利要求4所述的方法，其特征在于，依据每一个关键帧组的特征值和对应的运动参量，进行局部半稠密点云的构建还包括：
对每一个局部半稠密点云进行局部光束平差优化。
6.根据权利要求4所述的方法，其特征在于，还包括：
对所述目标区域的半稠密点云进行回环检测和回环融合。
7.一种即时定位与地图构建的生成系统，其特征在于，以单目VSLAM为出发点，通过半稠密化ORB_SLAM2框架实现改进最终实现半稠密点云的生成，采集设备为单目相机，采集设备采集的为视频帧，包括：
获取模块，用于获取目标区域内各个关键帧组，其中，每一个关键帧组代表所述目标区域中的一个局部区域；
提取模块，用于分别将每一个关键帧组中包含的第一预设数量的视频帧进行解码并提取对应的特征值，其中，采用ORB算法提取特征值；
计算模块，用于依据每一个关键帧组对应的特征值，计算对应的局部区域的运动参量，所述运动参量为旋转参量、平移参量和伸缩参量三个；
重建模块，用于依据每一个关键帧组的特征值和其对应局部区域的运动参量，对所述目标区域进行三维重建，得到所述目标区域的半稠密点云；
其中，所述计算模块，具体用于依据每一个关键帧组中各个关键帧的特征值建立最小二乘方程确定对应的局部区域的运动参量，其中，构建最小二乘方程时，在关键帧组中各个关键帧之间进行特征匹配，确定重合区域，选取关键帧对应的局部区域中重合区域的特征值和非重合区域的特征值进行最小二乘方程的构建。
8.根据权利要求7所述的系统，其特征在于，所述获取模块包括：
获取单元，用于获取所述目标区域内的各个视频帧；
第一选取单元，用于在所述各个视频帧中选取第二预设数量的参考帧；
第二选取单元，用于以每一个参考帧为分割点，选取所述第一预设数量的视频帧，得到所述目标区域包含的各个关键帧组。
9.根据权利要求7所述的系统，其特征在于，所述重建模块包括：
构建单元，用于依据每一个关键帧组的特征值和对应的运动参量，进行局部半稠密点云的构建；
重建单元，用于当接收到构建完成指令时，对所述各个关键帧对应的局部半稠密点云进行三维重建，得到所述目标区域的半稠密点云。
10.一种即时定位与地图构建的生成装置，其特征在于，所述生成装置执行权利要求1至6中任意一项所述的即时定位与地图构建的生成方法。
CN201810662032.6A 2018-06-25 2018-06-25 一种即时定位与地图构建的生成方法、系统及装置 Active CN110634150B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810662032.6A CN110634150B (zh) 2018-06-25 2018-06-25 一种即时定位与地图构建的生成方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810662032.6A CN110634150B (zh) 2018-06-25 2018-06-25 一种即时定位与地图构建的生成方法、系统及装置

Publications (2)

Publication Number Publication Date
CN110634150A CN110634150A (zh) 2019-12-31
CN110634150B true CN110634150B (zh) 2023-08-11

Family

ID=68967411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810662032.6A Active CN110634150B (zh) 2018-06-25 2018-06-25 一种即时定位与地图构建的生成方法、系统及装置

Country Status (1)

Country Link
CN (1) CN110634150B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111882590A (zh) * 2020-06-24 2020-11-03 广州万维创新科技有限公司 一种基于单张图片定位的ar场景应用方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106875482A (zh) * 2017-01-13 2017-06-20 浙江大学 一种同时定位与稠密三维重建方法
CN107358624A (zh) * 2017-06-06 2017-11-17 武汉几古几古科技有限公司 单目稠密即时定位与地图重建方法
CN107945265A (zh) * 2017-11-29 2018-04-20 华中科技大学 基于在线学习深度预测网络的实时稠密单目slam方法与系统
CN108151728A (zh) * 2017-12-06 2018-06-12 华南理工大学 一种用于双目slam的半稠密认知地图创建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7843512B2 (en) * 2004-03-31 2010-11-30 Honeywell International Inc. Identifying key video frames

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106875482A (zh) * 2017-01-13 2017-06-20 浙江大学 一种同时定位与稠密三维重建方法
CN107358624A (zh) * 2017-06-06 2017-11-17 武汉几古几古科技有限公司 单目稠密即时定位与地图重建方法
CN107945265A (zh) * 2017-11-29 2018-04-20 华中科技大学 基于在线学习深度预测网络的实时稠密单目slam方法与系统
CN108151728A (zh) * 2017-12-06 2018-06-12 华南理工大学 一种用于双目slam的半稠密认知地图创建方法

Also Published As

Publication number Publication date
CN110634150A (zh) 2019-12-31

Similar Documents

Publication Publication Date Title
CN110657803B (zh) 机器人定位方法、装置以及存储装置
CN111190981B (zh) 一种三维语义地图的构建方法、装置、电子设备及存储介质
CN108717710B (zh) 室内环境下的定位方法、装置及系统
Yuan et al. Visual object tracking with adaptive structural convolutional network
EP3304492B1 (en) Modelling a three-dimensional space
Pradeep et al. MonoFusion: Real-time 3D reconstruction of small scenes with a single web camera
US8855369B2 (en) Self learning face recognition using depth based tracking for database generation and update
CN109344899B (zh) 多目标检测方法、装置和电子设备
WO2018009473A1 (en) Motion capture and character synthesis
KR101479387B1 (ko) 얼굴 검출을 위한 방법 및 장치
EP3570253A1 (en) Method and device for reconstructing three-dimensional point cloud
US10152828B2 (en) Generating scene reconstructions from images
CN105143821A (zh) 依据slam地图的广域定位
CN111652934A (zh) 定位方法及地图构建方法、装置、设备、存储介质
CN107329962B (zh) 图像检索数据库生成方法、增强现实的方法及装置
EP3326156B1 (en) Consistent tessellation via topology-aware surface tracking
WO2014022036A1 (en) Fast 3-d point cloud generation on mobile devices
CN112651997B (zh) 地图构建方法、电子设备和存储介质
CN112785705B (zh) 一种位姿获取方法、装置及移动设备
Yang et al. Spatio-temporal domain awareness for multi-agent collaborative perception
CN113190120B (zh) 位姿获取方法、装置、电子设备及存储介质
CN115239763A (zh) 一种基于中心点检测和图匹配的平面目标跟踪方法
CN110634150B (zh) 一种即时定位与地图构建的生成方法、系统及装置
CN111402429A (zh) 一种尺度还原、三维重建方法、系统、存储介质及设备
Yang et al. Monocular camera based real-time dense mapping using generative adversarial network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant