CN113570629B - 去除动态物体的语义分割方法及系统 - Google Patents

去除动态物体的语义分割方法及系统 Download PDF

Info

Publication number
CN113570629B
CN113570629B CN202111142897.8A CN202111142897A CN113570629B CN 113570629 B CN113570629 B CN 113570629B CN 202111142897 A CN202111142897 A CN 202111142897A CN 113570629 B CN113570629 B CN 113570629B
Authority
CN
China
Prior art keywords
point cloud
map
semantic
surface element
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111142897.8A
Other languages
English (en)
Other versions
CN113570629A (zh
Inventor
皇攀凌
李留昭
赵一凡
周军
林乐彬
欧金顺
高新彪
孟广辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Shandong Alesmart Intelligent Technology Co Ltd
Original Assignee
Shandong University
Shandong Alesmart Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University, Shandong Alesmart Intelligent Technology Co Ltd filed Critical Shandong University
Priority to CN202111142897.8A priority Critical patent/CN113570629B/zh
Publication of CN113570629A publication Critical patent/CN113570629A/zh
Application granted granted Critical
Publication of CN113570629B publication Critical patent/CN113570629B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像处理领域，提供了一种去除动态物体的语义分割方法及系统。其中，该语义分割方法包括获取场景3D点云并投影到2D深度图中，计算点云的法向量信息，构建带有回环的面元地图；对带有回环的面元地图进行点云语义分割，构建出语义点云地图，将语义点云地图映射到3D点云地图中并去除出现的边缘阴影及点云离散化现象；利用语义点云地图中的语义点云信息去除动态物体，并添加语义迭代最近点约束，得到优化后的语义点云地图。

Description

去除动态物体的语义分割方法及系统
技术领域
本发明属于图像数据处理领域，尤其涉及一种去除动态物体的语义分割方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
机器人的同时定位与建图（Simultaneous Localization and Mapping，SLAM）技术已在高精度地图采集、无人驾驶定位、AGV、AR/VR、无人机等领域广泛应用，然而，在复杂场景（比如：矿山场景）下，由于动态物体会使观测与地图之间产生错误关联，干扰雷达获取的点云信息，导致较大的环境定位与地图构建误差；深度学习能够获取激光点云数据密集语义信息并对其进行训练分类，但却只能实现二维层面较高精度定位与建图，对三维层面的定位与建图精度及稳定性较低。因此，单一激光SLAM和三维点云的深度学习技术无法满足动态复杂环境的定位与建图需求。
发明内容
为了解决上述背景技术中存在的技术问题，本发明提供一种去除动态物体的语义分割方法及系统，其能够有效地去除复杂环境中的动态物体，并最终实现稳定地高精度定位及语义地图构建。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供一种去除动态物体的语义分割方法，其包括：
获取场景3D点云并投影到2D深度图中，计算点云的法向量信息，构建带有回环的面元地图；
对带有回环的面元地图进行点云语义分割，构建出语义点云地图，将语义点云地图映射到3D点云地图中并去除出现的边缘阴影及点云离散化现象；
利用语义点云地图中的语义点云信息去除动态物体，并添加语义迭代最近点约束，得到优化后的语义点云地图。
进一步地，所述面元地图中的每个面元都包含面元中心坐标、法向量、圆半径、面元创建时间、面元最后更新时间和面元稳定性概率。
进一步地，所述构建带有回环的面元地图的过程，包括：
利用所有点云的法向量构建向量图，建立面元结构，构建出面元地图；
基于面元地图上一帧坐标系，利用关键帧渲染出一个虚拟帧和当前帧进行面元结构信息的前端ICP帧间匹配，计算得到帧间相对位姿；
获得当前帧位姿后，将当前帧融合到已有的面元地图中，更新面元地图；
基于关键帧之前的历史帧构建回环检测；
回环检测通过后，把回环约束加入到位姿图中，进行位姿图优化，将优化的位姿整合到面元地图中，并更新当前位姿。
进一步地，利用RangeNet++神经网络对带有回环的面元地图进行点云语义分割，得到点云的语义信息以及相应的概率信息。
进一步地，去除出现的边缘阴影及点云离散化现象的过程为：
基于KNN搜索方法，在语义点云地图的原始点云中对每个点临近的k个扫描点进行一致性检测，利用点云的语义信息增加点的标签准确性以及对相同标签的离散化点进行插值来降低映射到三维点云时出现的阴影。
进一步地，利用语义点云地图中的语义点云信息去除动态物体之前，还包括：
如果某点的固定邻域中有其他的点的语义标签与该点不同，则去除该点，并且该点领域内若还有其他点，则标记为相同标签，然后利用周围标签的点对其进行填充，获得一致性深度地图。
进一步地，采用点云语义信息处理动态物体，在更新地图时，如果深度地图和面元地图之间的语义信息不一致，则假设物体为动态物体，在递归贝叶斯滤波器的稳定性项的计算中添加惩罚项，经过多次检测去除不稳定面元，实现动态物体的去除。
本发明的第二个方面提供了一种去除动态物体的语义分割系统，其包括：
面元结构地图构建模块，其用于获取场景3D点云并投影到2D深度图中，计算点云的法向量信息，构建带有回环的面元地图；
语义点云地图构建模块，其用于对带有回环的面元地图进行点云语义分割，构建出语义点云地图，将语义点云地图映射到3D点云地图中并去除出现的边缘阴影及点云离散化现象；
语义点云地图优化模块，其用于利用语义点云地图中的语义点云信息去除动态物体，并添加语义迭代最近点约束，得到优化后的语义点云地图。
本发明的第三个方面提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的去除动态物体的语义分割方法中的步骤。
与现有技术相比，本发明的有益效果是：
本发明基于点云面元建图，增加了点云语义信息能够有效去除投影地图阴影以及动态物体给建图定位带来的影响，实现了动态环境可靠、稳定的语义SLAM建图；将点云深度学习网络应用于点云语义信息的获取，获取准确的点云语义分割。
针对复杂场景，将3D激光点云投影到2D深度图，利用神经网络对点云进行语义分割并识别动态物体，并将其在构建地图中去除；将带有语义标签的物体进行数据关联，并与其几何信息一起建立约束关系，通过语义信息对里程计约束，实现了位姿更新和复杂场景的高精度建图。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例的3D点云投影到2D深度图的对应关系图；
图2是本发明实施例的面元地图构建流程图；
图3是本发明实施例的地图更新流程图；
图4是本发明实施例的RangeNet++网络结构流程图；
图5是本发明实施例的滤除矿山场景动态物体的流程图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
本实施例提供了一种去除动态物体的语义分割方法，其具体包括如下步骤：
步骤1：获取场景3D点云并投影到2D深度图中，计算点云的法向量信息，构建带有回环的面元地图。
在具体实施例中，利用16线激光雷达获取2D深度图和法向量信息。
此处可以理解的是，在其他实施例中，也可采用其他线数量的激光雷达来获取2D深度图和法向量信息，本领域技术人员可根据实际情况来具体选择，此处不再累述。
其中，面元地图构建流程图如图2所示，在图2中，V D 表示2D深度图，N D 表示法向量信息。具体地，步骤1的具体过程包括：
步骤1.1：点云预处理；
把当前帧3D点云投影到2D深度图中，并计算点云的法向量信息，利用所有点的法向量构建向量图，并建立面元结构，每个面元都包含空间坐标（面元中心坐标）、法向量、圆半径、两个时间戳（面元创建时间和最后更新时间）、面元稳定性概率；最后，对当前帧进行异常点和外点进行去除。其中，将3D点云投影到2D深度图的对应关系如图1所示。
对于三维点云中的点（x，y，z），相对于雷达均有一个竖直方向的俯仰角（pitch），和水平面的偏转角（yaw），首先，现将雷达坐标原点移至左上角，然后降维。
深度值
Figure 777768DEST_PATH_IMAGE001
；
水平面的偏转角
Figure 977805DEST_PATH_IMAGE002
；
竖直方向的俯仰角
Figure 236748DEST_PATH_IMAGE003
；
二维图像点的水平索引：
Figure 522236DEST_PATH_IMAGE004
；
二维图像点的数值索引：
Figure 524827DEST_PATH_IMAGE005
；
步骤1.2：前端匹配；
基于面元地图上一帧坐标系，利用关键帧渲染出一个虚拟帧和当前帧进行面元结构信息的前端ICP帧间匹配，并利用高斯-牛顿法计算得到帧间相对位姿。
步骤1.3：地图更新；
获得当前帧位姿估计后，将当前帧融合到已有的面元地图中。首先，对当前帧中每一点都计算出相应面元，判别该面元是否存在关联面元（与某个已有面元足够接近），如果存在，则融合到关联面元中，否则，保留该面元作为独立新建面元，完成面元地图更新后。其中，地图更新流程如图3所示。
步骤1.4：回环检测；
基于关键帧之前的历史帧构建回环检测，如果当前帧与其匹配度在设定误差范围内，则存在潜在回环，若下面连续若干帧匹配度都设定误差范围内，则确定有回环发生，添加回环约束到位姿图中；否则将其视为虚假回环，不予处理。
对于潜在回环的确定步骤如下：
首先利用这些历史帧构建历史地图，地图中若存在一个或多个位姿与当前位姿的直线距离小于设置阈值，则利用历史地图所有帧在距离最小值所在的坐标系下渲染出一个虚拟帧与当前帧做ICP匹配，若匹配度大于指定阈值，则存在潜在回环，否则不存在。最后，需要对回环进行检测，判断回环是否有效；将里程计增量估计用于关键帧，利用回环帧的位姿渲染其位姿图并进行位姿匹配，检测建图一致性。
步骤1.5：位姿图优化；
在回环检测通过后，需要把回环约束加入到位姿图中，进行位姿图优化，将优化的位姿整合到面元地图中，并更新当前位姿。
步骤2：对带有回环的面元地图进行点云语义分割，构建出语义点云地图，将语义点云地图映射到3D点云地图中并去除出现的边缘阴影及点云离散化现象。
首先，对点云进行预处理，将3D点云投影到2D图像坐标系，和上步构建面元地图投影方式一样，但需添加强度和距离信息到2D点云结构，接着对点云外点和难点去除，并保留原始点云索引。
然后，保持竖直方向点云信息不变，仅在宽度方向上，用RangeNet++神经网络对点云上、下采样及训练学习，并在代价函数中增加相应的权重解决各个类点云数量分布不均的情况，通过该网络结构能够得到点云的语义信息以及相应的概率信息。
接着，利用距离、像素坐标以及传感器校准将2D深度图映射到3D点云进行点云重建。为了推断2D深度语义点云表示的所有3D原始点，使用所有深度图中的点对初始渲染过程中获得的所有点进行配对，并将范围图像与对应于每个点的坐标进行索引，供点云后处理使用。
最后，将语义分割的点云再次投影到3D点云，物体边缘部位会出现明显的阴影。为解决由点云标签模糊和离散化导致的背景阴影问题，提出一种支持GPU的KNN搜索方法，直接对原始点云操作。在获取面元地图的语义信息之后，需对语义地图中的每一个点，在原始点云中对其临近的k个扫描点进行一致性检测，利用点的语义信息增加点的标签准确性以及对相同标签的离散化点进行插值来降低映射到三维点云时出现的阴影。
KNN搜索算法流程：
首先，在深度图中，定义一个以每个深度图点作为中心点的窗口，利用matlab中的im2col算法取出该窗口内该点的近邻点组成以一个矩阵，每一列即为所有点的近邻索引。
通过三维点云到二维深度图的对应关系，还原每个三维点在二维深度图上的近邻点，得到对应矩阵。
通利用KNN搜索方法搜索每个深度图点的近邻点，计算其距离。
计算点云的逆高斯核，对距离进行相应的调整，最终得到具有逆高斯核的权重近邻点，距离越近，权重越小；距离越远，权重越大。
通过距离阈值对k个近邻点过滤，去掉距离大于阈值的近邻点。
对剩余的点进行统计，点数多的类别就是目标点类别。
步骤3：利用语义点云地图中的语义点云信息去除动态物体，并添加语义迭代最近点约束，得到优化后的语义点云地图。
将如图4所示的RangeNet++网络输出点云作为输入，语义分割后的点云必然包含标签错误类别，为了降低误差，必须对其进行去除。首先，如果某点的固定邻域中有其他的点的语义标签与该点不同，则去除该点，并且该点领域内若还有其他点，则标记为相同标签，然后，利用周围标签的点对其进行填充，获得一致性深度地图。
地图获取之后，复杂场景的工作人员、车辆等动态物体会使观测与地图之间产生错误关联，必须去除动态物体带来的影响。
首先，根据物体在同一位置出现的概率实现动态物体的识别；即如果当前帧和下面连续若干帧（比如连续30帧）都显示该物体在同一个位置，则认为该物体静止，反之，在下面每一帧中检测其位置都发生变化，则认为该物体是动态的。接着，采用点云语义信息来处理动态物体，在更新地图时，如果深度图和面元地图之间的语义信息不一致，则假设物体为动态物体，最后，在递归贝叶斯滤波器的稳定性项的计算中添加惩罚项，经过多次检测可以去除不稳定面元，实现动态物体的去除。公式如下：
Figure 313791DEST_PATH_IMAGE006
其中：
Figure 9215DEST_PATH_IMAGE007
和
Figure 283464DEST_PATH_IMAGE008
指面元的稳定性，相当于一个概率值，会随时间而不断改变，分别代表着上一时刻和当前观测的叠加以及惩罚项；
Figure 824166DEST_PATH_IMAGE009
和
Figure 733216DEST_PATH_IMAGE010
分别表示夹角的方差因子和距离的方差因子；
Figure 333962DEST_PATH_IMAGE011
，
Figure 594042DEST_PATH_IMAGE012
和
Figure 938436DEST_PATH_IMAGE013
指稳定面元相容性概率和先验概率，
Figure 701992DEST_PATH_IMAGE014
用于补偿噪声；
Figure 739219DEST_PATH_IMAGE015
是面元法向量和测量法向量的夹角，d是测量相对面元的距离。
将动态物体去除后，也要保存静态物体信息，否则在扫描匹配时会因缺少对应关系而导致扫描配准失败，添加语义ICP（迭代最近点）能够有效预防该情况发生，并且还能减少离群点或异常值的出现。把语义信息也加入了ICP算法中，使任一物体都有一定的关联关系，在进行位姿估计时，除了满足点云要尽量接近，带语义标签的各个物体也要尽量接近，这样才能有效提高地图构建的准确性和真实性。其中，滤除复杂场景动态物体的流程如图5所示。
实施例二
本实施例提供了一种去除动态物体的语义分割系统，其具体包括如下模块：
面元结构地图构建模块，其用于获取场景3D点云并投影到2D深度图中，计算点云的法向量信息，构建带有回环的面元地图；
语义点云地图构建模块，其用于对带有回环的面元地图进行点云语义分割，构建出语义点云地图，将语义点云地图映射到3D点云地图中并去除出现的边缘阴影及点云离散化现象；
语义点云地图优化模块，其用于利用语义点云地图中的语义点云信息去除动态物体，并添加语义迭代最近点约束，得到优化后的语义点云地图。
其中，在所述面元结构地图构建模块中，构建带有回环的面元地图的过程，包括：
利用所有点云的法向量构建向量图，建立面元结构，构建出面元地图；
基于面元地图上一帧坐标系，利用关键帧渲染出一个虚拟帧和当前帧进行面元结构信息的前端ICP帧间匹配，计算得到帧间相对位姿；
获得当前帧位姿后，将当前帧融合到已有的面元地图中，更新面元地图；
基于关键帧之前的历史帧构建回环检测；
回环检测通过后，把回环约束加入到位姿图中，进行位姿图优化，将优化的位姿整合到面元地图中，并更新当前位姿。
在语义点云地图构建模块中，去除出现的边缘阴影及点云离散化现象的过程为：
基于KNN搜索方法，在语义点云地图的原始点云中对每个点临近的k个扫描点进行一致性检测，利用点云的语义信息增加点的标签准确性以及对相同标签的离散化点进行插值来降低映射到三维点云时出现的阴影。
此处需要说明的是，本实施例的各个模块与实施例一中的各个步骤一一对应，其具体实施过程相同，此处不再累述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）或随机存储记忆体（Random AccessMemory，RAM）等。
本发明是根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种去除动态物体的语义分割方法，其特征在于，包括：
获取场景3D点云并投影到2D深度图中，计算点云的法向量信息，构建带有回环的面元地图；
对带有回环的面元地图进行点云语义分割，构建出语义点云地图，将语义点云地图映射到3D点云地图中并去除出现的边缘阴影及点云离散化现象；
利用语义点云地图中的语义点云信息去除动态物体，并添加语义迭代最近点约束，得到优化后的语义点云地图；
去除出现的边缘阴影及点云离散化现象的过程为：
基于KNN搜索方法，在语义点云地图的原始点云中对每个点临近的k个扫描点进行一致性检测，利用点云的语义信息增加点的标签准确性以及对相同标签的离散化点进行插值来降低映射到三维点云时出现的阴影；
所述KNN搜索方法支持GPU，且直接对原始点云操作。
2.如权利要求1所述的去除动态物体的语义分割方法，其特征在于，所述面元地图中的每个面元都包含面元中心坐标、法向量、圆半径、面元创建时间、面元最后更新时间和面元稳定性概率。
3.如权利要求1所述的去除动态物体的语义分割方法，其特征在于，所述构建带有回环的面元地图的过程，包括：
利用所有点云的法向量构建向量图，建立面元结构，构建出面元地图；
基于面元地图上一帧坐标系，利用关键帧渲染出一个虚拟帧和当前帧进行面元结构信息的前端ICP帧间匹配，计算得到帧间相对位姿；
获得当前帧位姿后，将当前帧融合到已有的面元地图中，更新面元地图；
基于关键帧之前的历史帧构建回环检测；
回环检测通过后，把回环约束加入到位姿图中，进行位姿图优化，将优化的位姿整合到面元地图中，并更新当前位姿。
4.如权利要求1所述的去除动态物体的语义分割方法，其特征在于，利用RangeNet++神经网络对带有回环的面元地图进行点云语义分割，得到点云的语义信息以及相应的概率信息。
5.如权利要求1所述的去除动态物体的语义分割方法，其特征在于，利用语义点云地图中的语义点云信息去除动态物体之前，还包括：
如果某点的固定邻域中有其他的点的语义标签与该点不同，则去除该点，并且该点领域内若还有其他点，则标记为相同标签，然后利用周围标签的点对其进行填充，获得一致性深度地图。
6.如权利要求5所述的去除动态物体的语义分割方法，其特征在于，采用点云语义信息处理动态物体，在更新地图时，如果深度地图和面元地图之间的语义信息不一致，则假设物体为动态物体，在递归贝叶斯滤波器的稳定性项的计算中添加惩罚项，经过多次检测去除不稳定面元，实现动态物体的去除。
7.一种去除动态物体的语义分割系统，其特征在于，包括：
面元结构地图构建模块，其用于获取场景3D点云并投影到2D深度图中，计算点云的法向量信息，构建带有回环的面元地图；
语义点云地图构建模块，其用于对带有回环的面元地图进行点云语义分割，构建出语义点云地图，将语义点云地图映射到3D点云地图中并去除出现的边缘阴影及点云离散化现象；
语义点云地图优化模块，其用于利用语义点云地图中的语义点云信息去除动态物体，并添加语义迭代最近点约束，得到优化后的语义点云地图；
在语义点云地图构建模块中，去除出现的边缘阴影及点云离散化现象的过程为：
基于KNN搜索方法，在语义点云地图的原始点云中对每个点临近的k个扫描点进行一致性检测，利用点云的语义信息增加点的标签准确性以及对相同标签的离散化点进行插值来降低映射到三维点云时出现的阴影；
所述KNN搜索方法支持GPU，且直接对原始点云操作。
8.如权利要求7所述的去除动态物体的语义分割系统，其特征在于，在所述面元结构地图构建模块中，构建带有回环的面元地图的过程，包括：
利用所有点云的法向量构建向量图，建立面元结构，构建出面元地图；
基于面元地图上一帧坐标系，利用关键帧渲染出一个虚拟帧和当前帧进行面元结构信息的前端ICP帧间匹配，计算得到帧间相对位姿；
获得当前帧位姿后，将当前帧融合到已有的面元地图中，更新面元地图；
基于关键帧之前的历史帧构建回环检测；
回环检测通过后，把回环约束加入到位姿图中，进行位姿图优化，将优化的位姿整合到面元地图中，并更新当前位姿。
CN202111142897.8A 2021-09-28 2021-09-28 去除动态物体的语义分割方法及系统 Active CN113570629B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111142897.8A CN113570629B (zh) 2021-09-28 2021-09-28 去除动态物体的语义分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111142897.8A CN113570629B (zh) 2021-09-28 2021-09-28 去除动态物体的语义分割方法及系统

Publications (2)

Publication Number Publication Date
CN113570629A CN113570629A (zh) 2021-10-29
CN113570629B true CN113570629B (zh) 2022-01-18

Family

ID=78174870

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111142897.8A Active CN113570629B (zh) 2021-09-28 2021-09-28 去除动态物体的语义分割方法及系统

Country Status (1)

Country Link
CN (1) CN113570629B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114066773B (zh) * 2021-11-26 2023-10-27 哈尔滨理工大学 一种基于点云特征与蒙特卡洛扩展法的动态物体去除
CN114332394A (zh) * 2021-12-29 2022-04-12 北京航空航天大学 一种基于语义信息辅助的动态场景三维重建方法
CN115220665B (zh) * 2022-09-14 2022-12-20 深圳市木浪云科技有限公司 分布式存储系统的访问方法及系统
CN115600156B (zh) * 2022-11-14 2023-03-28 苏州魔视智能科技有限公司 基于最小树的语义地图融合方法、装置、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104156937A (zh) * 2013-05-15 2014-11-19 株式会社理光 阴影检测方法和装置
CN109087394A (zh) * 2018-08-02 2018-12-25 福州大学 一种基于低成本rgb-d传感器的实时室内三维重建方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9171403B2 (en) * 2014-02-13 2015-10-27 Microsoft Technology Licensing, Llc Contour completion for augmenting surface reconstructions
CN111242000A (zh) * 2020-01-09 2020-06-05 电子科技大学 一种结合激光点云转向的道路边沿检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104156937A (zh) * 2013-05-15 2014-11-19 株式会社理光 阴影检测方法和装置
CN109087394A (zh) * 2018-08-02 2018-12-25 福州大学 一种基于低成本rgb-d传感器的实时室内三维重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SuMa++: Efficient LiDAR-based Semantic SLAM;Xieyuanli Chen et al.;《2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)》;20200127;第4530-4534页 *

Also Published As

Publication number Publication date
CN113570629A (zh) 2021-10-29

Similar Documents

Publication Publication Date Title
CN113570629B (zh) 去除动态物体的语义分割方法及系统
CN111563442B (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及系统
Asvadi et al. 3D object tracking using RGB and LIDAR data
CN113168717B (zh) 一种点云匹配方法及装置、导航方法及设备、定位方法、激光雷达
CN111583369B (zh) 一种基于面线角点特征提取的激光slam方法
CN112734852B (zh) 一种机器人建图方法、装置及计算设备
Smith et al. ASSET-2: Real-time motion segmentation and shape tracking
Mallet et al. Position estimation in outdoor environments using pixel tracking and stereovision
US8199977B2 (en) System and method for extraction of features from a 3-D point cloud
Lacroix et al. Rover self localization in planetary-like environments
CN111652896A (zh) 惯导辅助陨石坑由粗到精检测方法
Han et al. Robust ego-motion estimation and map matching technique for autonomous vehicle localization with high definition digital map
CN116503803A (zh) 障碍物检测方法、装置、电子设备以及存储介质
CN114549549B (zh) 一种动态环境下基于实例分割的动态目标建模跟踪方法
Park et al. Nonparametric background model-based LiDAR SLAM in highly dynamic urban environments
Zhou et al. Lane information extraction for high definition maps using crowdsourced data
CN116643291A (zh) 一种视觉与激光雷达联合剔除动态目标的slam方法
CN113822996B (zh) 机器人的位姿估计方法及装置、电子设备、存储介质
Meier et al. Object detection and tracking in range image sequences by separation of image features
Wei et al. Novel robust simultaneous localization and mapping for long-term autonomous robots
Rozsa et al. Immediate vehicle movement estimation and 3D reconstruction for Mono cameras by utilizing epipolar geometry and direction prior
CN116299525A (zh) 一种基于点云区域相关性的动态环境rgb-d视觉slam方法
CN115962773A (zh) 一种移动机器人同步定位与地图构建方法、装置和设备
CN115239899A (zh) 位姿图生成方法、高精地图生成方法和装置
CN114926536A (zh) 一种基于语义的定位与建图方法、系统及智能机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant