CN114549738A - 无人车室内实时稠密点云重建方法、系统、设备及介质 - Google Patents

无人车室内实时稠密点云重建方法、系统、设备及介质 Download PDF

Info

Publication number
CN114549738A
CN114549738A CN202210017511.9A CN202210017511A CN114549738A CN 114549738 A CN114549738 A CN 114549738A CN 202210017511 A CN202210017511 A CN 202210017511A CN 114549738 A CN114549738 A CN 114549738A
Authority
CN
China
Prior art keywords
point cloud
unmanned vehicle
map
dimensional
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210017511.9A
Other languages
English (en)
Inventor
何凯
俞成浦
邓方
孙健
文太平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Innovation Center of Beijing University of Technology
Original Assignee
Chongqing Innovation Center of Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Innovation Center of Beijing University of Technology filed Critical Chongqing Innovation Center of Beijing University of Technology
Priority to CN202210017511.9A priority Critical patent/CN114549738A/zh
Publication of CN114549738A publication Critical patent/CN114549738A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明提供一种无人车室内实时稠密点云重建方法、系统、设备及介质，其中，方法包括：无人车通过激光雷达结合TOF算法进行测距和探测，并通过深度相机实时采集深度图像；采用快速探索随机树算法移动无人车进行室内探索，并根据时刻对深度图像进行分类，获取目标图像集；重复上述步骤，将获取的若干目标图像通过ORB‑SLAM算法进行计算，获取目标图像的位姿信息，生成三维稀疏点云地图；根据三维稀疏点云地图进行PCL点云配准，生成三维稠密点云地图；采用非线性全局优化算法对三维稠密点云地图进行优化，获取目标三维稠密点云地图。本发明实现了无人车室内自主探索与三维点云稠密建图的并行，提高了时效性，能够应用于室内抢险救灾。

Description

无人车室内实时稠密点云重建方法、系统、设备及介质
技术领域
本发明涉及三维重建技术领域，尤其涉及一种无人车室内实时稠密点云重建方法、系统、设备及介质。
背景技术
传统无人车室外需要依靠卫星定位系统获取车辆形式位置，进行导航和避障。而由于室内房间的疲敝处理，GPS定位信号无法高效传输，导致室内无人车难以根据GPS定位信号实现自主导航避障。现有技术中，为了实现无人车在室内缺乏GPS定位信号前提下进行室内探索，通常是采用激光雷达数据准确感知周围环境三维信息，实现室内环境的二维建图。
但是，二维建图仅提供方位数据，难以描述室内三维环境信息，极大的提升了后续避障及路径规划的工作量和计算难度。此外，二位建图与室内探索不能够同时进行，必须先获取室内二位建图后，才能够对室内环境进行探索，时效性较低，难以应用到室内抢险救灾环境中。
发明内容
基于此，有必要针对上述技术问题，提供一种无人车室内实时稠密点云重建方法、系统、设备及介质。
一种无人车室内实时稠密点云重建方法，包括以下步骤：无人车通过激光雷达探测室内三维信息，采用TOF算法进行测距，并通过深度相机实时采集深度图像；采用快速探索随机树算法移动无人车进行室内探索，并根据时刻对所述深度图像进行分类，获取目标图像集，所述目标图像集中包括若干相同时刻的目标图像；重复上述步骤，将获取的若干目标图像通过ORB-SLAM算法进行计算，获取目标图像的位姿信息，根据若干目标图像和对应的位姿信息，生成三维稀疏点云地图；根据所述三维稀疏点云地图进行PCL点云配准，生成室内三维稠密点云地图；采用非线性全局优化算法对所述室内三维稠密点云地图进行优化，获取目标三维稠密点云地图。
在其中一个实施例中，所述无人车在进行室内探索时，沿着势场方向前进。
在其中一个实施例中，所述无人车处于同向匀速运动时，根据上一帧的位姿信息和速度估算当前帧的位姿信息。
在其中一个实施例中，所述采用快速探索随机树算法移动无人车进行室内探索，具体包括：将无人车起始位置作为根节点，对周围场景进行随机采样，将采样点作为叶节点，根据所述根节点和叶节点生成随机扩展树；若所述叶节点处于目标区域内，则得到从起始位置到目标位置的路径，所述目标区域为室内无障碍区域；重复进行随机采样，获取若干叶节点，根据所述根节点和若干叶节点得到无人车在室内的规划路线，无人车根据所述规划路线进行室内探索。
在其中一个实施例中，所述将获取的若干目标图像通过ORB-SLAM算法进行计算，获取目标图像的位姿信息，根据若干目标图像和对应的位姿信息，生成三维稀疏点云地图，具体包括：对所述目标图像进行ORB特征提取和匹配，利用三角化估计目标图像对应的匹配点的3D位置，根据所述目标图像和3D位置构建初始地图，利用目标图像集中的多帧图像优化当前帧目标图像，将所述初始地图中的3D位置投影到当前帧目标图像，并确定对应的匹配点，通过最小化匹配点的重投影误差进一步优化当前帧目标图像的位姿，获取优化位姿信息和关键帧；选定一个关键帧，计算所述关键帧的特征点的BOW关系，根据所述BOW关系更新所述关键帧的连接关系，将所述关键帧插入地图，验证加入的地图点，利用三角法生成新的地图点，对相邻关键帧和对应3D点进行局部BA优化，剔除冗余关键帧，获取目标关键帧；计算所述目标关键帧与每个共视关键帧的BOW得分，在所有中间关键帧中找出闭环备选帧，通过连续性检测所述闭环候选帧，并进行SIM3优化，根据优化结果查找特征匹配，重复进行优化，在特征匹配满足预设要求时，接收闭环，固定回环帧和当前帧，进行全局优化，获取三维稀疏点云地图。
在其中一个实施例中，所述根据所述三维稀疏点云地图进行PCL点云配准，生成室内三维稠密点云地图，具体包括：对所述三维稀疏点云地图进行分割，形成若干点云聚类；计算所述若干点云聚类的局部特征描述子和全局特征描述子；对每个所述点云聚类的局部特征描述子和全局特征描述子进行特征级融合，得到融合特征向量；结合所述融合特征向量在所述三维稀疏点云地图中的坐标位姿、特征描述之间的特征和位置的相似度，计算对应关系，获取若干对应点对；根据所述若干对应点对之间的对应关系，进行刚性变换，完成配准，获取三维稠密点云地图。
一种无人车室内实时稠密点云重建系统，包括：无人车、搭载于所述无人车上的激光雷达和深度相机，及设置在所述无人车内的路线规划模块、深度图像分类模块、ORB-SLAM计算模块、PCL点云配准模块和全局优化模块；所述激光雷达用于进行测距和避障，生成二维场景，所述深度相机用于获取室内场景的深度图像；所述路线规划模块，用于采用快速探索随机树算法规划路线，无人车根据所述规划路线进行室内探索；所述深度图像分类模块，用于根据时刻对所述深度图像进行分类，获取目标图像集，所述目标图像集中包括若干相同时刻的目标图像；所述ORB-SLAM计算模块，用于将获取的若干目标图像通过ORB-SLAM算法进行计算，获取目标图像的位姿信息，根据若干目标图像和对应的位姿信息，生成三维稀疏点云地图；所述PCL点云配准模块，用于根据所述三维稀疏点云地图进行PCL点云配准，生成室内三维稠密点云地图；所述全局优化模块，用于采用非线性全局优化算法对室内三维稠密点云地图进行优化，获取目标三维稠密点云地图。
在其中一个实施例中，所述激光雷达包括有TOF测距模块，通过所述TOF测距模块获取室内场景的二维形态；所述ORB-SLAM计算模块包括跟踪单元、建图单元和闭环单元；所述跟踪单元用于对目标图像进行ORB特征提取和匹配，得到优化位姿信息和目标图像中的关键帧；所述建图单元，用于选定一个关键帧，计算所述关键帧的特征点的BOW关系，根据所述BOW关系更新所述关键帧的连接关系，将所述关键帧插入地图，验证加入的地图点，利用三角法生成新的地图点，对相邻关键帧和对应3D点进行局部BA优化，剔除冗余关键帧，获取目标关键帧，并将所述目标关键帧发送至所述闭环单元；所述闭环单元，用于计算所述目标关键帧与每个共视关键帧的BOW得分，在所有中间关键帧中找出闭环备选帧，通过连续性检测所述闭环候选帧，并进行SIM3优化，根据优化结果查找特征匹配，重复进行优化，在特征匹配满足预设要求时，接收闭环，固定回环帧和当前帧，进行全局优化，获取三维稀疏点云地图。
一种设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述各个实施例中所述的无人车室内实时稠密点云重建方法的步骤。
一种介质，其上存储有计算机程序，该程序被处理器执行时实现上述各个实施例中所述的无人车室内实时稠密点云重建方法的步骤。
相比于现有技术，本发明的优点及有益效果在于：
1、本发明通过激光雷达搭配RRT算法快速探索室内未知区域，同时采用单目相机视觉ORB-SLAM算法，实现无人车室内环境自主探索与三维环境点云稠密建图的并行，提高了时效性，能够更好的应用于室内抢险救灾领域。
2、本发明适用于危险恶劣的室内环境探索，具有较好的空间探索能力，同时可减少无人车类型、自由度约束等复杂问题的影响。
3、本发明采用激光雷达可准确感知室内环境的三维信息，探测精度可达厘米级，使能激光雷达能够准确识别障碍物具体轮廓和距离，有效探测距离远。
4、本发明采用ORB-SLAM算法进行三维稀疏点云重建，对环境的适应性较强，鲁棒性较高，直至宽基线的闭环检测和重定位。
附图说明
图1为一个实施例中一种无人车室内实时稠密点云重建方法的流程示意图；
图2为一个实施例中一种无人车室内实时稠密点云重建系统的结构示意图；
图3为一个实施例中设备的内部结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，下面通过具体实施方式结合附图对本发明做进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
在一个实施例中，如图1所示，提供了一种无人车室内实时稠密点云重建方法，包括以下步骤：
步骤S101，无人车通过激光雷达探测室内三维信息，采用TOF算法进行测距，并通过深度相机实时采集深度图像。
具体地，无人车进入室内环境时，同时启动激光雷达，通过激光雷达进行TOF(Time-of-Flight，飞行时差测距)的方法测距，激光雷达发射激光束来测量室内事物的距离，发射的激光光束越多，感知的区域和细节就越多，让反射的激光转动扫描，即可得到一片区域的三维形态。
启动激光雷达的同时，启动深度相机，通过深度相机采集室内的原始彩色图像，便于后续同步进行室内探索和场景重建。
其中，深度相机实时采集深度图像时，可以通过无人车移动并旋转，对室内场景进行较为全面的拍摄，获取室内场景的多个深度图像。当然也可以将深度相机设置为在旋转平台上，旋转平台设置在无人车上，从而便于深度相机进行深度图像的采集，同时也便于物人车进行室内探索。
步骤S102，采用快速探索随机树算法移动无人车进行室内探索，并根据时刻对深度图像进行分类，获取目标图像集，目标图像集中包括若干相同时刻的目标图像。
具体地，无人车在进行室内探索时，采用快速探索随机树算法移动无人车，根据随机采样的方式快速扩展路径，随着随机采样点和迭代次数的增加，得到的路径越来越优化，从而能够实现均匀、经济地探索，避免过度探索一个区域或漏掉某个区域。其中，快速探索随机树(Rapidly-exploring Random Tree，RRT)是一种树形数据存储结构和算法，通过递增的方法建立，并快速减小随机选择点同树的距离，用于有效地搜索非凸的高维度的空间。
同时，根据时刻将获取的深度图像进行时间对齐分类，获取目标图像集，目标图像集中包括若干相同时刻的目标图像。
其中，无人机在进行室内探索时，沿着势场方向前进。
具体地，在进行空间探索时有势场法容易陷入局部极小值的缺点，因此倾向于沿着势场方向前进，从而能够进行较好的空间探索，减少无人车类型和自由度约束等复杂问题的影响。
步骤S103，重复步骤S101和步骤S102，将获取的若干目标图像通过ORB-SLAM算法进行计算，获取目标图像的位姿信息，根据若干目标图像和对应的位姿信息，生成三维稀疏点云地图。
具体地，在无人车进行室内探索的过程中，深度相机获取多个深度图像，并重复进行分类，获取若干目标图像集，通过ORB-SLAM算法对若干目标图像集中的目标图像进行计算，获取目标图像对应的位姿信息，并根据位姿信息和目标图像生成室内场景的三维稀疏点云地图。
其中，ORB-SLAM算法包括跟踪、建图、重定位和闭环四个步骤。在将目标图像输入ORB-SLAM算法模型中之后，通过跟踪模块提取目标图像的ORB特征，根据ORB特征进行目标图像的位姿估计或重定位，进行局部地图跟踪，判断目标图像中的关键帧，将关键帧输入建图模块；建图模块将关键帧插入初始地图中，剔除初始地图中的冗余地图点，对初始地图进行局部优化，剔除冗余关键帧；然后通过回环检测模块检测候选回环，进行SIM3计算，建立回环约束，然后对初始地图进行全局优化，即可获取三维稀疏点云地图。
特殊地，在无人车处于同向匀速运动时，根据上一帧的位姿信息和速度估算当前帧的位姿信息。
具体地，无人车进入室内在激光雷达指引下，进行匀速运动探索室内，且在运动速度和方向比较一致，无大转动情形下，搭载深度相机获取图像时，可以用上一帧的位姿和速度估算当前帧的位姿。其中，上一帧速度可以通过前几帧的位姿信息计算得到，重复此过程，则形成该深度相机的视觉里程计。
步骤S104，根据三维稀疏点云地图进行PCL点云配准，生成室内三维稠密点云地图。
具体地，在获取了深度相机采集到的深度图像后，筛选处于同一时刻的目标图像，采用ORB-SLAM算法对目标图像进行计算，获取目标图像对应的相机位姿，对目标图像和相机位姿采用PCL(Point Cloud Library，点云库)点云库进行点云拼接，完成配准，生成室内场景的三维稠密点云地图。
其中，PCL点云配准是通过不同坐标系的三维数据点集，找到两个点集空间的变换关系，使得两个点集能统一到同一坐标系统中，从而在全局坐标框架中找到单独获取的目标图像的相对位置和方向，使得若干目标图像之间的相交区域完全重叠。
步骤S105，采用非线性全局优化算法对室内三维稠密点云地图进行优化，获取目标三维稠密点云地图。
具体地，采用非线性全局优化算法，例如BA(Bundle Adjustment，光束平差法)优化，根据获取室内三维稠密点云地图，获取各个像素特征点在世界坐标系中的三维坐标，根据相机模型，重投影到相片中的像素坐标，最小化多个像素点和多个特征点的重投影误差，从而起到优化的效果，获取目标三维稠密点云地图。
在本实施例中，无人车通过激光雷达探测室内三维信息，采用TOF算法进行测距，并通过深度相机实时采集深度图像；采用快速探索随机数算法移动无人车进行室内探索，并根据时刻对深度图像进行分类，获取目标图像集，目标图像集中包括若干相同时刻的目标图像，重复上述步骤，将获取的若干目标图像通过ORB-SLAM算法进行计算，获取目标图像的位姿信息，根据若干目标图像和对应的位姿信息，生成三维稀疏点云地图，根据三维稀疏点云地图PCL点云配准，生成室内三维稠密点云地图，采用非线性全局优化算法对室内三维稠密点云地图进行优化，获取目标三维稠密点云地图，从而实现了无人车室内环境自主探索与三维环境点云稠密建图的并行，提高了时效性，能够更好的应用于室内抢险救灾领域。
其中，步骤S101具体包括：将无人车起始位置作为根节点，对周围场景进行随机采样，将采样点作为叶节点，根据根节点和叶节点生成随机扩展树；若叶节点处于目标区域内，则得到从起始位置到目标位置的路径，目标区域为室内无障碍区域；重复进行随机采样，获取若干叶节点，根据根节点和若干叶节点，得到无人车在室内的规划路线，无人车根据规划路线进行室内探索。
具体地，无人车在采用快速探索随机树进行室内探索时，将当前起始位置作为根节点，然后对室内场景进行随机采样，增加叶节点，根据根节点和叶节点生成随机扩展树，并检测叶节点是否处于无障碍物的目标区域内，若是，则构成从起始位置到目标区域内任意目标位置的路径，无人车通过该路径从起始位置行驶到目标区域，并重复进行随机采样，获取若干叶节点，根据根节点和若干叶节点，得到无人车在室内的规划路线，根据规划路线在室内进行快速探索，实现无人车的室内自主路线规划，能够应用于室内抢险救灾领域。
其中，步骤S103具体包括：对目标图像进行ORB特征提取和匹配，利用三角化估计目标图像对应的匹配点的3D位置，根据目标图像和3D位置构建初始地图，利用目标图像集中的多帧图像优化当前帧目标图像，将初始地图中的3D位置投影到当前帧目标图像，并确定对应的匹配点，通过最小化匹配点的重投影误差进一步优化当前帧目标图像的位姿，获取优化位姿信息和关键帧；选定一个关键帧，计算关键帧的特征点的BOW关系，根据BOW关系更新关键帧的连接关系，将关键帧插入初始地图，验证加入的地图点，利用三角法生成新的地图点，对相邻关键帧和对应的位置进行局部BA优化，剔除冗余关键帧，获取目标关键帧；计算目标关键帧与每个共视关键帧的BOW得分，在所有目标关键帧中找出闭环备选帧，通过连续性检测闭环备选帧，并进行SIM3优化，根据优化记过查找特征匹配，重复进行优化，在特征匹配满足预设要求时，接收闭环，固定回环帧和当前帧，进行全局优化，获取三维稀疏点云地图。
具体地，将相同时刻的若干深度图像分到同一个目标图像集，作为目标图像，对目标图像进行ORB特征提取和匹配，系统初始化得到深度相机运动参数和3D点云，根据深度相机运动参数，利用三角化估计路标点的3D位置，构建初始地图，通过局部BA优化对目标图像的位姿信息和3D位置进行优化。
若上一帧跟踪成功，则通过相同的运动模型预测当前帧的位姿，将上一帧中地图点投影到当前帧，在小范围内进行特征匹配，在匹配点满足预设数量时，进行位姿估计；若匹配点不满足预设数量，则加大在当前帧的搜索范围，进行特征匹配，通过足够多的匹配点，进行位姿估计，并确定目标图像中的关键帧。
通过多视图的目标图像进一步优化当前帧，将局部地图中的3D点投影到当前帧，并找到对应的匹配点，通过最小化匹配点的重投影误差进一步优化当前帧的位姿。
选定一个关键帧，插入初始地图中，三角化关键帧插入后形成的新的地图点，利用局部优化对地图中关键帧的位姿和地图点的3D位置进行优化。严格剔除冗余的关键帧和3D点，例如，关键帧中90％以上的3D点能被其它至少3个共视关键帧观测到，则剔除该关键帧。其中，共视关键帧，表示能够观测到同一个地图点的若干关键帧，若干关键帧之间存在共视关系。
建立当前帧与关键帧之间的关联，减少长时间的累计误差，并通过相似变化矫正尺度偏移，利用BOW(bag-of-word，词袋算法)的场景识别方法检测回环，并计算SIM3相似变换，构建初始地图的优化图，基于SIM3变换，在本质视图上进行全局优化，获取三维稀疏点云地图。
其中，SIM3(similarity transformation，相似变换)变换，表示使用3对匹配点来进行相似变换的求解，进而解出两个坐标系之间的旋转矩阵、平移向量和尺度。
其中，步骤S104具体包括：对三维稀疏点云地图进行分割，形成若干点云聚类；计算若干点云聚类的局部特征描述子和全局特征描述子；对每个点云聚类的局部特征描述子和全局特征描述子进行特征级融合，得到融合特征向量；结合融合特征向量在所述三维稀疏点云地图中的坐标位姿、特征描述之间的特征和位置的相似度，计算对应关系，获取若干对应点对；根据若干对应点对之间的对应关系，进行刚性变换，完成配准，获取三维稠密点云地图。
具体地，获取室内场景的三维稀疏点云地图后，对三维稀疏点云地图进行分割，形成若干点云聚类，计算若干点云聚类的局部特征描述子和全局特征描述子；将点云聚类两两进行对比，根据两个点云聚类对应的两种特征描述子在三维稀疏点云地图中的坐标位置，以两者之间的特征和位置的相似度为基础，估算两个点云聚类的对应关系，获取初步的估计对应点对。若对比过程中存在噪声，则剔除对配准存在影响的错误对应点对，利用剩余正确的对应点对的对应关系，估算刚性变换，完整配准，获取三维稠密点云地图。
其中，对应估计是指在已经得到点云数据获取的两组特征向量后，在此基础上，查找相似特征确定数据的重叠部分，然后才能进行配准，根据特征的类型，PCL使用不同的方法来搜索特征之间的对应关系，例如穷举配准、KD数最近邻查询等等。
如图2所示，提供了一种无人车室内实时稠密点云重建系统20，包括：无人车21、搭载于所述无人车上的激光雷达22和深度相机23，及设置在无人车21内的路线规划模块24、深度图像分类模块25、ORB-SLAM计算模块26、PCL点云配准模块27和全局优化模块28，其中：
激光雷达22用于进行测距和避障，生成二维场景，深度相机23用于获取室内场景的深度图像；
路线规划模块24，用于采用快速探索随机树算法规划路线，无人车根据规划路线进行室内探索；
深度图像分类模块25，用于根据时刻对所述深度图像进行分类，获取目标图像集，目标图像集中包括若干相同时刻的目标图像；
ORB-SLAM计算模块26，用于将获取的若干目标图像通过ORB-SLAM算法进行计算，获取目标图像的位姿信息，根据若干目标图像和对应的位姿信息，生成三维稀疏点云地图；
PCL点云配准模块27，用于根据三维稀疏点云地图进行PCL点云配准，生成室内三维稠密点云地图；
全局优化模块28，用于采用非线性全局优化算法对室内三维稠密点云地图进行优化，获取目标三维稠密点云地图。
在一个实施例中，激光雷达22包括有TOF测距模块，通过TOF测距模块获取室内场景的二维形态；ORB-SLAM计算模块26包括跟踪单元、建图单元和闭环单元，跟踪单元、建图单元和闭环单元之间相互连接；跟踪单元261用于对目标图像进行ORB特征提取和匹配，得到优化位姿信息和目标图像中的关键帧；建图单元用于选定一个关键帧，计算关键帧的特征点的BOW关系，根据所述BOW关系更新关键帧的连接关系，将关键帧插入地图，验证加入的地图点，利用三角法生成新的地图点，对相邻关键帧和对应3D点进行局部BA优化，剔除冗余关键帧，获取目标关键帧，并将目标关键帧发送至闭环单元；闭环单元，用于计算所述目标关键帧与每个共视关键帧的BOW得分，在所有中间关键帧中找出闭环备选帧，通过连续性检测闭环候选帧，并进行SIM3优化，根据优化结果查找特征匹配，重复进行优化，在特征匹配满足预设要求时，接收闭环，固定回环帧和当前帧，进行全局优化，获取三维稀疏点云地图。
在一个实施例中，路线规划模块24具体用于：将无人车起始位置作为根节点，对周围场景进行随机采样，将采样点作为叶节点，根据根节点和叶节点生成随机扩展树；若叶节点处于目标区域内，则得到从起始位置到目标位置的路径，目标区域为室内无障碍区域；重复进行随机采样，获取若干叶节点，根据根节点和若干叶节点，得到无人车在室内的规划路线，无人车根据规划路线进行室内探索。
在一个实施例中，PCL点云配准模块27具体用于：对三维稀疏点云地图进行分割，形成若干点云聚类；计算若干点云聚类的局部特征描述子和全局特征描述子；对每个点云聚类的局部特征描述子和全局特征描述子进行特征级融合，得到融合特征向量；结合融合特征向量在所述三维稀疏点云地图中的坐标位姿、特征描述之间的特征和位置的相似度，计算对应关系，获取若干对应点对；根据若干对应点对之间的对应关系，进行刚性变换，完成配准，获取三维稠密点云地图。
在一个实施例中，提供了一种设备，该设备可以是服务器，其内部结构图可以如图3所示。该设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该设备的处理器用于提供计算和控制能力。该设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该设备的数据库用于存储配置模板，还可用于存储目标网页数据。该设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现无人车室内实时稠密点云重建方法。
本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的设备的限定，具体的设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还可以提供一种介质，所述介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被计算机执行时使所述计算机执行如前述实施例所述的方法，所述计算机可以为上述提到的无人车室内实时稠密点云重建系统的一部分。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
显然，本领域的技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在计算机存储介质(ROM/RAM、磁碟、光盘)中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。所以，本发明不限制于任何特定的硬件和软件结合。
以上内容是结合具体的实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种无人车室内实时稠密点云重建方法，其特征在于，包括以下步骤：
无人车通过激光雷达探测室内三维信息，采用TOF算法进行测距，并通过深度相机实时采集深度图像；
采用快速探索随机树算法移动无人车进行室内探索，并根据时刻对所述深度图像进行分类，获取目标图像集，所述目标图像集中包括若干相同时刻的目标图像；
重复上述步骤，将获取的若干目标图像通过ORB-SLAM算法进行计算，获取目标图像的位姿信息，根据若干目标图像和对应的位姿信息，生成三维稀疏点云地图；
根据所述三维稀疏点云地图进行PCL点云配准，生成室内三维稠密点云地图；
采用非线性全局优化算法对所述室内三维稠密点云地图进行优化，获取目标三维稠密点云地图。
2.根据权利要求1所述的无人车室内实时稠密点云重建方法，其特征在于，所述无人车在进行室内探索时，沿着势场方向前进。
3.根据权利要求1所述的无人车室内实时稠密点云重建方法，其特征在于，所述无人车处于同向匀速运动时，根据上一帧的位姿信息和速度估算当前帧的位姿信息。
4.根据权利要求1所述的无人车室内实时稠密点云重建方法，其特征在于，所述采用快速探索随机树算法移动无人车进行室内探索，具体包括：
将无人车起始位置作为根节点，对周围场景进行随机采样，将采样点作为叶节点，根据所述根节点和叶节点生成随机扩展树；
若所述叶节点处于目标区域内，则得到从起始位置到目标位置的路径，所述目标区域为室内无障碍区域；
重复进行随机采样，获取若干叶节点，根据所述根节点和若干叶节点得到无人车在室内的规划路线，无人车根据所述规划路线进行室内探索。
5.根据权利要求1所述的无人车室内实时稠密点云重建方法，其特征在于，所述将获取的若干目标图像通过ORB-SLAM算法进行计算，获取目标图像的位姿信息，根据若干目标图像和对应的位姿信息，生成三维稀疏点云地图，具体包括：
对所述目标图像进行ORB特征提取和匹配，利用三角化估计目标图像对应的匹配点的3D位置，根据所述目标图像和3D位置构建初始地图，利用目标图像集中的多帧图像优化当前帧目标图像，将所述初始地图中的3D位置投影到当前帧目标图像，并确定对应的匹配点，通过最小化匹配点的重投影误差进一步优化当前帧目标图像的位姿，获取优化位姿信息和关键帧；
选定一个关键帧，计算所述关键帧的特征点的BOW关系，根据所述BOW关系更新所述关键帧的连接关系，将所述关键帧插入地图，验证加入的地图点，利用三角法生成新的地图点，对相邻关键帧和对应3D点进行局部BA优化，剔除冗余关键帧，获取目标关键帧；
计算所述目标关键帧与每个共视关键帧的BOW得分，在所有中间关键帧中找出闭环备选帧，通过连续性检测所述闭环候选帧，并进行SIM3优化，根据优化结果查找特征匹配，重复进行优化，在特征匹配满足预设要求时，接收闭环，固定回环帧和当前帧，进行全局优化，获取三维稀疏点云地图。
6.根据权利要求1所述的无人车室内实时稠密点云重建方法，其特征在于，所述根据所述三维稀疏点云地图进行PCL点云配准，生成室内三维稠密点云地图，具体包括：
对所述三维稀疏点云地图进行分割，形成若干点云聚类；
计算所述若干点云聚类的局部特征描述子和全局特征描述子；
对每个所述点云聚类的局部特征描述子和全局特征描述子进行特征级融合，得到融合特征向量；
结合所述融合特征向量在所述三维稀疏点云地图中的坐标位姿、特征描述之间的特征和位置的相似度，计算对应关系，获取若干对应点对；
根据所述若干对应点对之间的对应关系，进行刚性变换，完成配准，获取三维稠密点云地图。
7.一种无人机室内实时稠密点云重建系统，其特征在于，具体包括：无人车、搭载于所述无人车上的激光雷达和深度相机，及设置在所述无人车内的路线规划模块、深度图像分类模块、ORB-SLAM计算模块、PCL点云配准模块和全局优化模块；
所述激光雷达用于进行测距和避障，生成二维场景，所述深度相机用于获取室内场景的深度图像；
所述路线规划模块，用于采用快速探索随机树算法规划路线，无人车根据所述规划路线进行室内探索；
所述深度图像分类模块，用于根据时刻对所述深度图像进行分类，获取目标图像集，所述目标图像集中包括若干相同时刻的目标图像；
所述ORB-SLAM计算模块，用于将获取的若干目标图像通过ORB-SLAM算法进行计算，获取目标图像的位姿信息，根据若干目标图像和对应的位姿信息，生成三维稀疏点云地图；
所述PCL点云配准模块，用于根据所述三维稀疏点云地图进行PCL点云配准，生成室内三维稠密点云地图；
所述全局优化模块，用于采用非线性全局优化算法对室内三维稠密点云地图进行优化，获取目标三维稠密点云地图。
8.根据权利要求7所述的无人机室内实时稠密点云重建系统，其特征在于，
所述激光雷达包括有TOF测距模块，通过所述TOF测距模块获取室内场景的二维形态；
所述ORB-SLAM计算模块包括跟踪单元、建图单元和闭环单元，所述跟踪单元、建图单元和闭环单元之间相互连接；
所述跟踪单元用于对目标图像进行ORB特征提取和匹配，得到优化位姿信息和目标图像中的关键帧；
所述建图单元，用于选定一个关键帧，计算所述关键帧的特征点的BOW关系，根据所述BOW关系更新所述关键帧的连接关系，将所述关键帧插入地图，验证加入的地图点，利用三角法生成新的地图点，对相邻关键帧和对应3D点进行局部BA优化，剔除冗余关键帧，获取目标关键帧，并将所述目标关键帧发送至所述闭环单元；
所述闭环单元，用于计算所述目标关键帧与每个共视关键帧的BOW得分，在所有中间关键帧中找出闭环备选帧，通过连续性检测所述闭环候选帧，并进行SIM3优化，根据优化结果查找特征匹配，重复进行优化，在特征匹配满足预设要求时，接收闭环，固定回环帧和当前帧，进行全局优化，获取三维稀疏点云地图。
9.一种设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
10.一种介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202210017511.9A 2022-01-07 2022-01-07 无人车室内实时稠密点云重建方法、系统、设备及介质 Pending CN114549738A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210017511.9A CN114549738A (zh) 2022-01-07 2022-01-07 无人车室内实时稠密点云重建方法、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210017511.9A CN114549738A (zh) 2022-01-07 2022-01-07 无人车室内实时稠密点云重建方法、系统、设备及介质

Publications (1)

Publication Number Publication Date
CN114549738A true CN114549738A (zh) 2022-05-27

Family

ID=81669422

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210017511.9A Pending CN114549738A (zh) 2022-01-07 2022-01-07 无人车室内实时稠密点云重建方法、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN114549738A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115200588A (zh) * 2022-09-14 2022-10-18 煤炭科学研究总院有限公司 移动机器人的slam自主导航方法及其装置
CN116148883A (zh) * 2023-04-11 2023-05-23 锐驰智慧科技(深圳)有限公司 基于稀疏深度图像的slam方法、装置、终端设备及介质
CN116858215A (zh) * 2023-09-05 2023-10-10 武汉大学 一种ar导航地图生成方法及装置
CN117372632A (zh) * 2023-12-08 2024-01-09 魔视智能科技(武汉)有限公司 二维图像的标注方法、装置、计算机设备及存储介质
CN117607837A (zh) * 2024-01-09 2024-02-27 苏州识光芯科技术有限公司 传感器阵列、距离测量设备及方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115200588A (zh) * 2022-09-14 2022-10-18 煤炭科学研究总院有限公司 移动机器人的slam自主导航方法及其装置
CN116148883A (zh) * 2023-04-11 2023-05-23 锐驰智慧科技(深圳)有限公司 基于稀疏深度图像的slam方法、装置、终端设备及介质
CN116148883B (zh) * 2023-04-11 2023-08-08 锐驰智慧科技(安吉)有限公司 基于稀疏深度图像的slam方法、装置、终端设备及介质
CN116858215A (zh) * 2023-09-05 2023-10-10 武汉大学 一种ar导航地图生成方法及装置
CN116858215B (zh) * 2023-09-05 2023-12-05 武汉大学 一种ar导航地图生成方法及装置
CN117372632A (zh) * 2023-12-08 2024-01-09 魔视智能科技(武汉)有限公司 二维图像的标注方法、装置、计算机设备及存储介质
CN117372632B (zh) * 2023-12-08 2024-04-19 魔视智能科技(武汉)有限公司 二维图像的标注方法、装置、计算机设备及存储介质
CN117607837A (zh) * 2024-01-09 2024-02-27 苏州识光芯科技术有限公司 传感器阵列、距离测量设备及方法
CN117607837B (zh) * 2024-01-09 2024-04-16 苏州识光芯科技术有限公司 传感器阵列、距离测量设备及方法

Similar Documents

Publication Publication Date Title
US20230130320A1 (en) Laser scanner with real-time, online ego-motion estimation
EP3427008B1 (en) Laser scanner with real-time, online ego-motion estimation
US11176701B2 (en) Position estimation system and position estimation method
CN114549738A (zh) 无人车室内实时稠密点云重建方法、系统、设备及介质
US7446766B2 (en) Multidimensional evidence grids and system and methods for applying same
EP3526626A1 (en) Laser scanner with real-time, online ego-motion estimation
US20190025411A1 (en) Laser scanning system, laser scanning method, movable laser scanning system, and program
CN110675307A (zh) 基于vslam的3d稀疏点云到2d栅格图的实现方法
Postica et al. Robust moving objects detection in lidar data exploiting visual cues
CN114088081A (zh) 一种基于多段联合优化的用于精确定位的地图构建方法
US20210304518A1 (en) Method and system for generating an environment model for positioning
He et al. Online semantic-assisted topological map building with LiDAR in large-scale outdoor environments: Toward robust place recognition
Dubois et al. Dense Decentralized Multi-robot SLAM based on locally consistent TSDF submaps
Gonzalez et al. TwistSLAM++: Fusing multiple modalities for accurate dynamic semantic SLAM
CN114577196A (zh) 使用光流的激光雷达定位
Shoukat et al. Cognitive robotics: Deep learning approaches for trajectory and motion control in complex environment
Gautam et al. An experimental comparison of visual SLAM systems
Opromolla et al. PCA-based line detection from range data for mapping and localization-aiding of UAVs
Baligh Jahromi et al. Layout slam with model based loop closure for 3d indoor corridor reconstruction
Alkhatib et al. Camera pose estimation based on structure from motion
Pang et al. FLAME: Feature-likelihood based mapping and localization for autonomous vehicles
Nawaf et al. Guided underwater survey using semi-global visual odometry
Vidal et al. Environment modeling for cooperative aerial/ground robotic systems
Jametoni et al. A Study on Autonomous Drone Positioning Method
Yang et al. Multi-sensor fusion of sparse point clouds based on neuralnet works

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination