CN111325843B - 一种基于语义逆深度滤波的实时语义地图构建方法 - Google Patents

一种基于语义逆深度滤波的实时语义地图构建方法 Download PDF

Info

Publication number
CN111325843B
CN111325843B CN202010155782.1A CN202010155782A CN111325843B CN 111325843 B CN111325843 B CN 111325843B CN 202010155782 A CN202010155782 A CN 202010155782A CN 111325843 B CN111325843 B CN 111325843B
Authority
CN
China
Prior art keywords
point
semantic
map
dynamic
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010155782.1A
Other languages
English (en)
Other versions
CN111325843A (zh
Inventor
崔林艳
郭政航
马朝伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202010155782.1A priority Critical patent/CN111325843B/zh
Publication of CN111325843A publication Critical patent/CN111325843A/zh
Application granted granted Critical
Publication of CN111325843B publication Critical patent/CN111325843B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

一种基于语义逆深度滤波的实时语义地图构建方法，包括以下步骤：(1)通过相机视觉传感器采集图像，并对采集到的图像进行ORB特征提取和语义分割；(2)针对步骤(1)中提取的ORB特征和语义分割结果，通过融合了语义逆深度滤波的跟踪线程得到动态场景下的相机位姿，并筛选出关键帧；(3)根据步骤(2)中得到的相机位姿和关键帧创建点云，并根据语义分割结果删除动态点，实时构建动态场景下的稠密点云模型。本发明利用基于深度学习的语义逆深度滤波技术赋予了地图语义信息，并通过语义信息的辅助建图提高了稠密重建地图的精度，增强了机器人对自身所处环境的理解；本发明相比于传统的基于静态世界假设的地图构建技术应对动态场景能力更强，对动态场景的实时稠密重建效果好。

Description

一种基于语义逆深度滤波的实时语义地图构建方法
技术领域
本发明涉及一种基于语义逆深度滤波的实时语义地图构建方法，适用于动态场景下实时构建语义地图任务。
背景技术
地图构建技术在军事，探测，无人驾驶，机器人等领域都有着广泛应用，近几年该项技术在移动机器人、无人驾驶等领域发展尤为迅速。能够实时构建地图，赋予地图语义信息是现阶段地图构建技术的重点研究方向，具有十分重要的意义。机器人在没有环境先验信息的情况下，通过获取的传感器数据，估计机器人自身的位姿，同时构建一个全局一致的环境地图，即同时定位与地图构建(SLAM)技术。其中，基于视觉传感器的SLAM系统被称为视觉SLAM。在实际应用层面，视觉SLAM系统可以用来实现各种各样的需求，包括定位、重建展示、导航避障以及实现机器与环境的交互等。为了实现这些需求，视觉SLAM系统需要构建不同形式的地图。然而传统视觉SLAM系统为了满足定位需求建立了稀疏点云地图，难以满足自动驾驶，人机交互等复杂任务。随着机器人应用领域不断拓展、应用层次不断深入,高度智能化已成为机器人发展的必然趋势，能否理解环境的语义特征是实现人机交互、减小认知鸿沟、完成复杂工作的前提。但常规的地图构建方法缺乏环境语义信息，严重制约了其理论发展与实际应用。除此之外，传统地图重构技术应对动态场景的能力也较差，在实际使用时场景内的动态物体会对场景产生随机的遮挡，然而传统方法不能分辨出场景内物体的动、静状态，依旧会按照传统的静态世界假设构建地图，这就使得场景内动态物体在地图中留下一系列运动轨迹残影，严重影响人类视觉体验，也严重干扰了移动机器人对自身所处环境情况的判断。
发明内容
为了解决以上问题，本发明克服现有技术不足，针对动态场景实时建图问题，结合了基于深度学习的语义逆深度滤波技术，提供一种基于语义逆深度滤波的实时语义地图构建方法，改善动态场景下的实时三维重建效果，提高动态场景下稠密点云建图精度，为人类视觉上提供更加丰富的信息。本发明能较好地解决现有地图构建方法中存在的环境语义特征缺失、难以面向动态场景精确建图等问题，基于语义逆深度滤波的实时语义地图构建方法赋予了三维地图语义信息，提升了建图精度，在动态场景下能够实时构建稠密点云地图，解决了动态目标对场景的遮挡问题，提升了动态场景稠密建图的视觉体验。
本发明的技术解决方案为：一种基于语义逆深度滤波的实时语义地图构建方法，实现步骤如下：
一种基于语义逆深度滤波的实时语义地图构建方法，包括以下步骤：
步骤(1)通过相机视觉传感器采集图像，并对采集到的图像进行ORB特征提取和语义分割；
步骤(2)针对步骤(1)中提取的ORB特征和语义分割结果，通过融合了语义逆深度滤波的跟踪线程得到动态场景下的相机位姿，并筛选出关键帧；
步骤(3)根据步骤(2)中得到的相机位姿和关键帧创建点云，并根据语义分割结果删除动态点，实时构建动态场景下的稠密点云模型；
进一步的，所述步骤(1)中，视觉传感器采集图像，并对采集到的图像进行ORB特征提取和语义分割方法如下：
首先对传感器采集的图像数据提取ORB图像特征点，其中，所述ORB图像特征包括“Oriented FAST”特征点和BRIEF描述子两部分，所述“Oriented FAST”特征点具有尺度不变性和旋转不变性，所述BRIEF描述子对“Oriented FAST”提取出特征点的周围图像区域进行描述，然后使用SegNet语义分割网络对当前帧的图像进行语义分割；
通过语义信息将特征点分为静态、潜在动态和动态三类；其中，静态类目标指的是在场景内固定的，被场景内其他物体影响也不会移动的目标；动态目标指场景内持续移动的目标；潜在动态目标指在场景内表现为静态，但在其他物体的影响下也能够移动的目标。
进一步的，所述步骤(2)中，根据提取的ORB特征和SegNet语义分割结果，通过融合语义逆深度滤波的跟踪线程得到动态场景下相机位姿，并筛选出关键帧，方法如下：
(2.1)根据提取的ORB特征和SegNet语义分割结果，对当前帧图像上的语义静态特征点通过Lucas-Kanade光流法计算稀疏光流，通过计算光流获取到图像特征点匹配点对，进而计算出基础矩阵F；得到基础矩阵F后，再根据极线约束对图像上的静态特征点、潜在动态特征点和动态特征点的运动特性进行二次判断，判断结果由计算出的基础矩阵F进行检验；检验过程中设定一个像素作为阈值，如果当前帧图像中的特征点到它对应极线的直线距离超过该阈值，那么该特征点就被判定为真正的动态特征点，并以此创建出一个可靠的初始地图；
(2.2)在可靠的初始地图基础上，运用基于高斯-均匀混合分布假设的逆深度滤波器，对全地图中3D地图点的内点率π大小进行评估，进而确定某点是否为动态点，并以此为依据对之前获得的可靠初始地图进行更新；
(2.3)将更新后的地图通过ORB-SLAM2框架中的跟踪线程，得到相机精确的旋转量和平移量；根据某一帧的内点数必须超过设定的最小阈值，且重叠度不能大于预定阈值条件筛选出关键帧，降低信息冗余、减少计算机算力损耗，进而实现系统运行平稳、满足实时性的要求。
进一步的，所述步骤(2.2)中，
其中内点是指地图中一个静态地图点，且其深度能通过正确的匹配点进行三角化得到的点；内点率π的计算是在将当前时刻(Z,π)的后验概率分布p(Z,π|x1,…,xn)近似于一个高斯-贝塔形式分布的基础上进行计算的：
q(Z,π|a,b,μ,σ2)＝N(Z|μ,σ2)Beta(π|a,b)
其中Z是地图点的真实逆深度，是需要计算出的值；π是该地图点的内点率；x1,…,xn为一个地图点逆深度的系列互相独立的观测值,n为观测值的序号；q(Z,π|a,b,μ,σ2)表示(Z,π)服从参数为(a,b,μ,σ2)的高斯-贝塔分布；a,b为概率论中贝塔分布(Beta)中两个大于零的参数；μ,σ2是高斯分布(N)中的期望与方差；
运用矩比较法对p(Z,π|x1,…,xn)和q(Z,π|a,b,μ,σ2)分别求得的Z和π的一、二阶矩进行比较，确定新的参数
Figure BDA0002403984620000031
将内点率π的一阶矩作为π的估计值：
Figure BDA0002403984620000032
设定两个互不相关阈值m,n，当
Figure BDA0002403984620000033
时，跳过内点率π的计算，等待下一次更新；当
Figure BDA0002403984620000034
则该地图点是一个动态点，将其剔除；当
Figure BDA0002403984620000035
则该地图点是一个可靠的静态地图点，并以此为依据对之前获得的可靠初始地图进行更新。
进一步的，所述步骤(3)中，根据相机位姿和关键帧创建点云，并根据语义分割结果删除动态点，实时构建动态场景下的稠密点云模型，方法如下：
(3.1)根据从跟踪线程中得到的相机位姿和关键帧，通过三角化估计或者RGB-D相机得到每一帧图像中像素对应的深度值；其中三角化估计地图点深度数据方法为：通过在不同的位置观测同一个三维点P，已知在不同位置处观察到的三维点的二维投影点X1(x1,y1)，X2(x2,y2)，利用三角关系，估计出三维点的深度信息Z；而RGB-D相机是通过红外结构光测量距离，直接得到三维点的深度数据；
(3.2)在得到了某一三维地图点深度数据后，获得该点在此时相机坐标系下的三维坐标；通过之前对图像数据语义分割和基于语义逆深度滤波判定的结果，将语义信息为动态元素的三维点进行剔除；再结合这一帧图像所对应的相机坐标系相对于世界坐标系的旋转量和平移量，将未被删除的地图点在相机坐标系下的坐标转换到世界坐标系下；将世界坐标系下的三维点坐标保存为点云数据处理库PCL可读取的pcd文件，直接对其进行可视化；
(3.3)每处理一帧关键帧，就获取这一帧世界坐标系下的点云数据；将处理的所有关键帧得到的多组点云数据加总到一起，即实时构建出动态场景下的稠密点云模型。
本发明与现有技术相比的优点在于：
(1)本发明利用基于深度学习的语义逆深度滤波技术赋予了地图语义信息，并通过语义信息的辅助建图提高了稠密重建地图的精度，增强了机器人对自身所处环境的理解，对于未来机器人理论发展与实际应用开辟了新的空间。
(2)本发明相比于传统的基于静态世界假设的地图构建技术应对动态场景能力更强，对动态场景的实时稠密重建效果好。在应对实际生活中常见的动态场景时，能较好的过滤动态信息，构建的三维稠密地图中物体清晰可分辨。
总之，本发明采用的方法原理简洁，可达到对动态场景构建实时语义地图的目的。
附图说明
图1为本发明基于语义逆深度滤波的实时语义地图构建方法流程图；
图2(a)传统方法重建效果；
图2(b)本发明方法的重建效果；
图2(c)本发明实际场景示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
如图1所示，本发明的具体实现步骤如下：
1、视觉传感器采集图像，并对采集到的图像进行ORB特征提取和语义分割。
首先对传感器采集的图像数据提取ORB图像特征点，其中，所述ORB图像特征包括“Oriented FAST”特征点和BRIEF描述子两部分，所述“Oriented FAST”特征点具有尺度不变性和旋转不变性，所述BRIEF描述子对“Oriented FAST”提取出特征点的周围图像区域进行描述；具体的，其中“Oriented FAST”特征点是一种改进的FAST角点，通过构建图像金字塔和灰度质心法，解决了FAST角点法不具有尺度不变性和旋转不变性的问题；另外，本发明采用的BRIEF描述子是改进型的BRIEF描述子，其是一种二进制描述子，对“Oriented FAST”提取出特征点的周围图像区域进行描述，具有较好旋转不变性、计算速度快、储存方便等特点。
然后使用SegNet语义分割网络对当前帧的图像进行语义分割。这里SegNet模型是在PASCAL VOC数据集上进行训练的，总共可以区分20个类别(飞机，自行车，鸟，船，瓶子，公共汽车，汽车，猫，椅子，牛，餐桌，狗，马，摩托车，人，盆栽，绵羊，沙发，火车，显示器)。通过语义信息将特征点分为静态、潜在动态和动态三类。其中，静态类目标指的是在场景内固定的，被场景内其他物体影响也不会移动的目标；动态目标指场景内持续移动的目标；潜在动态目标指在场景内表现为静态，但在其他物体(例如人的活动)的影响下也可以移动的目标，比如可以被拖动的椅子。
2、根据提取的ORB特征和SegNet语义分割结果，通过融合了语义逆深度滤波技术的跟踪线程得到动态场景下高精度的相机位姿，并筛选出关键帧。
首先根据提取的ORB特征和SegNet语义分割结果，对当前帧图像上的语义静态特征点通过经典的Lucas-Kanade光流法计算稀疏光流，通过计算光流获取到图像特征点匹配点对，进而计算出基础矩阵F。得到基础矩阵F后，再根据极线约束对图像上的静态特征点、潜在动态特征点和动态特征点的运动特性进行二次判断，判断结果由计算出的基础矩阵F进行检验。检验过程中设定一个像素作为阈值，如果当前帧图像中的特征点到它对应极线的直线距离超过这个阈值，那么该特征点就被判定为真正的动态特征点，并以此创建出一个可靠的初始地图。
在可靠的初始地图基础上，运用基于高斯-均匀混合分布假设的逆深度滤波器，对全地图中3D地图点的内点率π大小进行评估，进而确定某点是否为动态点，并以此为依据对之前获得的可靠初始地图进行更新。
其中，内点是指地图中一个静态地图点，且其深度能通过正确的匹配点进行三角化得到的点。内点率π的计算是在将当前时刻(Z,π)的后验概率分布p(Z,π|x1,…,xn)近似于一个高斯-贝塔形式的分布基础上进行计算的：
q(Z,π|a,b,μ,σ2)＝N(Z|μ,σ2)Beta(π|a,b)
其中，Z是地图点的真实逆深度，是需要计算出的值；π是该地图点的内点率；x1,…,xn为一个地图点逆深度的系列互相独立的观测值，n为观测值的序号；q(Z,π|a,b,μ,σ2)表示(Z,π)服从参数为(a,b,μ,σ2)的高斯-贝塔分布；a,b为概率论中贝塔分布(Beta)中两个大于零的参数；μ,σ2是高斯分布(N)中的期望与方差。
运用矩比较法对p(Z,π|x1,…,xn)和q(Z,π|a,b,μ,σ2)分别求得的Z和π的一、二阶矩进行比较，确定新的参数
Figure BDA0002403984620000061
将内点率π的一阶矩作为π的估计值：
Figure BDA0002403984620000062
设定两个互不相关阈值m,n，当
Figure BDA0002403984620000063
时，跳过内点率π的计算，等待下一次更新；当
Figure BDA0002403984620000064
则该地图点是一个动态点，将其剔除；当
Figure BDA0002403984620000065
则该地图点是一个可靠的静态地图点，并以此为依据对之前获得的可靠初始地图进行更新。
最后将更新后的地图通过经典ORB-SLAM2框架中的跟踪线程后得到相机精确的旋转量和平移量。并根据某一帧的内点数必须超过设定的最小阈值，且重叠度不能大于预定阈值条件筛选出关键帧，用以降低信息冗余、减少计算机算力损耗，进而实现系统运行平稳、具有实时性的要求。
4、根据得到的相机位姿和关键帧创建点云，并根据语义分割结果删除动态点，实时构建动态场景下的稠密点云模型。
根据从跟踪线程中得到的相机位姿和关键帧，再结合通过三角化估计或者RGB-D相机得到的每一帧图像中像素对应的深度值。
其中三角化估计地图点深度数据方法通过在不同的位置观测同一个三维点P，已知在不同位置处观察到的三维点的二维投影点X1(x1,y1)，X2(x2,y2)，利用三角关系，估计出三维点的深度信息Z。而RGB-D相机是通过红外结构光测量距离，可直接得到三维点的深度数据。
在得到了某一三维地图点深度数据后，可知该点在此时相机坐标系下的三维坐标。通过之前对图像数据语义分割和基于语义逆深度滤波判定的结果，将语义信息为动态元素的三维点进行剔除。再结合这一帧图像所对应的相机坐标系相对于世界坐标系的旋转量和平移量，将未被删除的地图点在相机坐标系下的坐标转换到世界坐标系下。将世界坐标系下的三维点坐标保存为点云数据处理库PCL可读取的pcd文件，可直接对其进行可视化。其中点云数据处理库PCL是在综合之前点云相关研究基础上建立起来的大型的跨平台开源C++编程库，可实现大量点云相关的通用算法和高效数据结构，涉及点云获取、滤波、分割、配准、检索、特征提取、识别、追踪、曲面重建、可视化等。每处理一帧关键帧，就可以获取这一帧世界坐标系下的点云数据。
将处理的所有关键帧得到的多组的点云数据加总到一起，即可实时构建出动态场景下的稠密点云模型。
如图2所示，图2(a)为传统方法在高动态场景下的稠密重建效果；图2(b)为本发明在高动态场景下的稠密重建效果；图2(c)为实际动态场景在未受到动态目标遮挡时的效果。场景中动态的人或物在稠密重建时被很好的剔除，场景中被动态目标非持续性遮掩的静态物品的语义稠密重建效果清晰。由此可见，本发明能够在动态场景下具有良好的语义稠密重建效果。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (3)

1.一种基于语义逆深度滤波的实时语义地图构建方法，其特征在于，包括以下步骤：
步骤(1)通过相机视觉传感器采集图像，并对采集到的图像进行ORB特征提取和语义分割；
步骤(2)针对步骤(1)中提取的ORB特征和语义分割得到的语义分割结果，通过融合了语义逆深度滤波的跟踪线程得到动态场景下的相机位姿，并筛选出关键帧；
步骤(3)根据步骤(2)中得到的相机位姿和关键帧创建点云，并根据语义分割结果删除动态点，实时构建动态场景下的稠密点云模型；
所述步骤(2)中，根据提取的ORB特征和语义分割结果，通过融合语义逆深度滤波的跟踪线程得到动态场景下相机位姿，并筛选出关键帧，方法如下：
(2.1)根据提取的ORB特征和语义分割结果，对当前帧图像上的语义静态特征点通过Lucas-Kanade光流法计算稀疏光流，通过计算光流获取到图像特征点匹配点对，进而计算出基础矩阵F；得到基础矩阵F后，再根据极线约束对图像上的静态特征点、潜在动态特征点和动态特征点的运动特性进行二次判断，判断结果由计算出的基础矩阵F进行检验；检验过程中设定一个像素作为阈值，如果当前帧图像中的特征点到它对应极线的直线距离超过该阈值，那么该特征点就被判定为真正的动态特征点，并以此创建出一个可靠的初始地图；
(2.2)在可靠的初始地图基础上，运用基于高斯-均匀混合分布假设的逆深度滤波器，对全地图中3D地图点的内点率π大小进行评估，进而确定某点是否为动态点，并以此为依据对之前获得的可靠初始地图进行更新；
(2.3)将更新后的地图通过ORB-SLAM2框架中的跟踪线程，得到相机精确的旋转量和平移量；根据某一帧的内点数必须超过设定的最小阈值，且重叠度不能大于预定阈值条件筛选出关键帧，降低信息冗余、减少计算机算力损耗，进而实现系统运行平稳、满足实时性的要求；
所述步骤(2.2)中，
其中，内点是指地图中一个静态地图点，且其深度能通过正确的匹配点进行三角化得到的点；内点率π的计算是在将当前时刻(Z,π)的后验概率分布p(Z,π|x1,…,xn)近似于一个高斯-贝塔形式分布的基础上进行计算的：
q(Z,π|a,b,μ,σ2)＝N(Z|μ,σ2)Beta(π|a,b)
其中，Z是地图点的真实逆深度，是需要计算出的值；π是该地图点的内点率；x1,…,xn为一个地图点逆深度的系列互相独立的观测值,n为观测值的序号；q(Z,π|a,b,μ,σ2)表示(Z,π)服从参数为(a,b,μ,σ2)的高斯-贝塔分布；a,b为概率论中贝塔分布(Beta)中两个大于零的参数；μ,σ2是高斯分布(N)中的期望与方差；
运用矩比较法对p(Z,π|x1,…,xn)和q(Z,π|a,b,μ,σ2)分别求得的Z和π的一、二阶矩进行比较，确定新的参数
Figure FDA0003495394870000021
将内点率π的一阶矩作为π的估计值：
Figure FDA0003495394870000022
设定两个互不相关阈值m,n，当
Figure FDA0003495394870000023
时，跳过内点率π的计算，等待下一次更新；当
Figure FDA0003495394870000024
Figure FDA0003495394870000025
π<n，则该地图点是一个动态点，将其剔除；当
Figure FDA0003495394870000026
π>n，则该地图点是一个可靠的静态地图点，并以此为依据对之前获得的可靠初始地图进行更新。
2.根据权利要求1所述的一种基于语义逆深度滤波的实时语义地图构建方法，其特征在于：
所述步骤(1)中，视觉传感器采集图像，并对采集到的图像进行ORB特征提取和语义分割方法如下：
首先对传感器采集的图像数据提取ORB图像特征点，其中，所述ORB图像特征包括“Oriented FAST”特征点和BRIEF描述子两部分，所述“Oriented FAST”特征点具有尺度不变性和旋转不变性，所述BRIEF描述子对“Oriented FAST”提取出特征点的周围图像区域进行描述，然后使用SegNet语义分割网络对当前帧的图像进行语义分割；
通过语义信息将特征点分为静态、潜在动态和动态三类；其中，静态类目标指的是在场景内固定的，被场景内其他物体影响也不会移动的目标；动态目标指场景内持续移动的目标；潜在动态目标指在场景内表现为静态，但在其他物体的影响下也能够移动的目标。
3.根据权利要求1所述的一种基于语义逆深度滤波的实时语义地图构建方法，其特征在于：
所述步骤(3)中，根据相机位姿和关键帧创建点云，并根据语义分割结果删除动态点，实时构建动态场景下的稠密点云模型，方法如下：
(3.1)根据从跟踪线程中得到的相机位姿和关键帧，通过三角化估计或者RGB-D相机得到每一帧图像中像素对应的深度值；其中三角化估计地图点深度数据方法为：通过在不同的位置观测同一个三维点P，已知在不同位置处观察到的三维点的二维投影点X1(x1,y1)，X2(x2,y2)，利用三角关系，估计出三维点的深度信息；而RGB-D相机是通过红外结构光测量距离，直接得到三维点的深度数据；
(3.2)在得到了某一三维地图点深度数据后，获得该点在此时相机坐标系下的三维坐标；通过之前对图像数据语义分割和基于语义逆深度滤波判定的结果，将语义信息为动态元素的三维点进行剔除；再结合这一帧图像所对应的相机坐标系相对于世界坐标系的旋转量和平移量，将未被删除的地图点在相机坐标系下的坐标转换到世界坐标系下；将世界坐标系下的三维点坐标保存为点云数据处理库PCL可读取的pcd文件，直接对其进行可视化；
(3.3)每处理一帧关键帧，就获取这一帧世界坐标系下的点云数据；将处理的所有关键帧得到的多组点云数据加总到一起，即实时构建出动态场景下的稠密点云模型。
CN202010155782.1A 2020-03-09 2020-03-09 一种基于语义逆深度滤波的实时语义地图构建方法 Active CN111325843B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010155782.1A CN111325843B (zh) 2020-03-09 2020-03-09 一种基于语义逆深度滤波的实时语义地图构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010155782.1A CN111325843B (zh) 2020-03-09 2020-03-09 一种基于语义逆深度滤波的实时语义地图构建方法

Publications (2)

Publication Number Publication Date
CN111325843A CN111325843A (zh) 2020-06-23
CN111325843B true CN111325843B (zh) 2022-04-08

Family

ID=71171407

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010155782.1A Active CN111325843B (zh) 2020-03-09 2020-03-09 一种基于语义逆深度滤波的实时语义地图构建方法

Country Status (1)

Country Link
CN (1) CN111325843B (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814683B (zh) * 2020-07-09 2022-12-09 北京航空航天大学 一种基于语义先验和深度学习特征的鲁棒视觉slam方法
CN111968129B (zh) * 2020-07-15 2023-11-07 上海交通大学 具有语义感知的即时定位与地图构建系统及方法
CN111860651B (zh) * 2020-07-22 2022-09-13 河海大学常州校区 一种基于单目视觉的移动机器人半稠密地图构建方法
CN111950561A (zh) * 2020-08-25 2020-11-17 桂林电子科技大学 一种基于语义分割的剔除语义slam动态点的方法
CN112085823A (zh) * 2020-09-01 2020-12-15 上海擎朗智能科技有限公司 一种激光地图的拼接方法、装置、电子设备及存储介质
CN112098092A (zh) * 2020-09-11 2020-12-18 北京航空航天大学 一种结合深度学习和机器视觉的滚动轴承振动测量方法
CN112132897A (zh) * 2020-09-17 2020-12-25 中国人民解放军陆军工程大学 一种基于深度学习之语义分割的视觉slam方法
CN112132857B (zh) * 2020-09-18 2023-04-07 福州大学 动态环境混合视觉系统的动态物检测和静态地图重建方法
CN112446885A (zh) * 2020-11-27 2021-03-05 广东电网有限责任公司肇庆供电局 一种动态环境下基于改进的语义光流法的slam方法
TWI788758B (zh) * 2021-01-15 2023-01-01 國立臺北科技大學 目標物影像追蹤系統及方法
CN114820639A (zh) * 2021-01-19 2022-07-29 北京四维图新科技股份有限公司 基于动态场景的图像处理方法、装置、设备及存储介质
CN112767485B (zh) * 2021-01-26 2023-07-07 哈尔滨工业大学（深圳） 一种基于静态语义信息的点云地图创建与场景辨识方法
CN114972494A (zh) * 2021-02-26 2022-08-30 魔门塔(苏州)科技有限公司 一种记忆泊车场景的地图构建方法及装置
CN116762094A (zh) * 2021-03-17 2023-09-15 深圳市大疆创新科技有限公司 数据处理方法和设备
CN113160401B (zh) * 2021-03-29 2023-11-17 东北大学 一种面向物体的视觉slam轻量化语义地图创建方法
CN113362387B (zh) * 2021-04-12 2023-06-09 深圳大学 一种动态环境移动机器人的环境地图构建方法
CN113192133B (zh) * 2021-04-13 2022-08-05 浙江大学 基于语义平面的单目即时定位与致密语义地图构建方法
CN113284173B (zh) * 2021-04-20 2023-12-19 中国矿业大学 一种基于伪激光雷达的端到端的场景流、位姿联合学习方法
CN113744397B (zh) * 2021-07-30 2023-10-24 中南大学 一种实时的物体级语义地图构建和更新方法及装置
CN113808251B (zh) * 2021-08-09 2024-04-12 杭州易现先进科技有限公司 一种基于语义分割的稠密重建的方法、系统、装置和介质
CN115063550B (zh) * 2022-07-22 2022-11-11 合肥工业大学 一种语义点云地图构建方法、系统及智能机器人
CN115937451B (zh) * 2022-12-16 2023-08-25 武汉大学 基于视觉slam的动态场景多语义地图构建方法及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596974A (zh) * 2018-04-04 2018-09-28 清华大学 动态场景机器人定位建图系统及方法
CN110097553A (zh) * 2019-04-10 2019-08-06 东南大学 基于即时定位建图与三维语义分割的语义建图系统
WO2019153245A1 (en) * 2018-02-09 2019-08-15 Baidu.Com Times Technology (Beijing) Co., Ltd. Systems and methods for deep localization and segmentation with 3d semantic map
CN110490933A (zh) * 2019-09-18 2019-11-22 郑州轻工业学院 基于单点ransac的非线性状态空间中心差分滤波器方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11210805B2 (en) * 2017-01-13 2021-12-28 Zhejiang University Simultaneous localization and dense three-dimensional reconstruction method
CN110243370A (zh) * 2019-05-16 2019-09-17 西安理工大学 一种基于深度学习的室内环境三维语义地图构建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019153245A1 (en) * 2018-02-09 2019-08-15 Baidu.Com Times Technology (Beijing) Co., Ltd. Systems and methods for deep localization and segmentation with 3d semantic map
CN108596974A (zh) * 2018-04-04 2018-09-28 清华大学 动态场景机器人定位建图系统及方法
CN110097553A (zh) * 2019-04-10 2019-08-06 东南大学 基于即时定位建图与三维语义分割的语义建图系统
CN110490933A (zh) * 2019-09-18 2019-11-22 郑州轻工业学院 基于单点ransac的非线性状态空间中心差分滤波器方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SOF-SLAM: A Semantic Visual SLAM for Dynamic Environments;LINYAN CUI 等;《IEEE Access》;20191127;第07卷;第II章第B节 *
基于 Kinect 的 SLAM 方法;李海洋等;《中南大学学报(自然科学版)》;20130731;第44卷(第S2期);摘要 *
基于语义信息与多视图几何的动态SLAM方法研;仲星光;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑(月刊)》;20200215(第02期);第1.2、2.2、2.3、3.1、3.2、3.3、4.1节 *

Also Published As

Publication number Publication date
CN111325843A (zh) 2020-06-23

Similar Documents

Publication Publication Date Title
CN111325843B (zh) 一种基于语义逆深度滤波的实时语义地图构建方法
CN108898676B (zh) 一种虚实物体之间碰撞及遮挡检测方法及系统
Vatavu et al. Stereovision-based multiple object tracking in traffic scenarios using free-form obstacle delimiters and particle filters
CN111696210A (zh) 一种基于三维点云数据特征轻量化的点云重构方法及系统
CN112651944B (zh) 基于cad模型的3c部件高精度六维位姿估计方法及系统
CN112991534B (zh) 一种基于多粒度物体模型的室内语义地图构建方法及系统
Sanz Image Technology: Advances in Image Processing, Multimedia and Machine Vision
CN114332394A (zh) 一种基于语义信息辅助的动态场景三维重建方法
CN115496792A (zh) 基于人在环优化的点云语义slam的方法、系统及装置
Chen et al. Improving registration of augmented reality by incorporating DCNNS into visual SLAM
CN114549549A (zh) 一种动态环境下基于实例分割的动态目标建模跟踪方法
CN114049362A (zh) 一种基于transformer的点云实例分割方法
CN112950786A (zh) 一种基于神经网络的车辆三维重建方法
CN110634160B (zh) 二维图形中目标三维关键点提取模型构建及姿态识别方法
Yubo et al. Survey of UAV autonomous landing based on vision processing
Ouyang et al. Semantic slam for mobile robot with human-in-the-loop
Zou et al. Learning motion field of LiDAR point cloud with convolutional networks
Min et al. COEB-SLAM: A Robust VSLAM in Dynamic Environments Combined Object Detection, Epipolar Geometry Constraint, and Blur Filtering
CN114913289A (zh) 一种生产车间三维动态不确定性语义slam方法
Khan et al. Skeleton based human action recognition using a structured-tree neural network
CN113920020A (zh) 一种基于深度生成模型的人体点云实时修复方法
Gou et al. DR-Fusion: Dynamic SLAM 3D Reconstruction Method of Production Workshop
Wang et al. Dynamic object separation and removal in 3d point cloud map building
Qian et al. An improved ORB-SLAM2 in dynamic scene with instance segmentation
Rusu et al. Leaving flatland: Realtime 3D stereo semantic reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant