CN115035404A - 基于三维激光雷达构建语义地图的方法及系统 - Google Patents

基于三维激光雷达构建语义地图的方法及系统 Download PDF

Info

Publication number
CN115035404A
CN115035404A CN202210541132.XA CN202210541132A CN115035404A CN 115035404 A CN115035404 A CN 115035404A CN 202210541132 A CN202210541132 A CN 202210541132A CN 115035404 A CN115035404 A CN 115035404A
Authority
CN
China
Prior art keywords
point
semantic
current
feature point
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210541132.XA
Other languages
English (en)
Inventor
董翔宇
尚伟伟
樊培培
何果
黄杰
张飞
刘之奎
李腾
张俊杰
谢佳
李卫国
郭振宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Super High Voltage Branch Of State Grid Anhui Electric Power Co ltd
Institute of Advanced Technology University of Science and Technology of China
Original Assignee
Super High Voltage Branch Of State Grid Anhui Electric Power Co ltd
Institute of Advanced Technology University of Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Super High Voltage Branch Of State Grid Anhui Electric Power Co ltd, Institute of Advanced Technology University of Science and Technology of China filed Critical Super High Voltage Branch Of State Grid Anhui Electric Power Co ltd
Priority to CN202210541132.XA priority Critical patent/CN115035404A/zh
Publication of CN115035404A publication Critical patent/CN115035404A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种基于三维激光雷达构建语义地图的方法及系统，属于人工智能技术领域。所述方法及系统包括：建立点云语义分割的全卷积神经网络模型；采用大规模KITTI语义数据集与现场环境数据集训练所述全卷积神经网络模型；采用训练完成的所述全卷积神经网络根据采集信息生成对应的语义信息；采用SLAM方法根据所述语义信息和采集信息构建语义地图。该方法及系统能够高效生成语义地图。

Description

基于三维激光雷达构建语义地图的方法及系统
技术领域
本发明涉及人工智能技术领域，具体地涉及一种基于三维激光雷达构建语义地图的方法及系统。
背景技术
随着人工智能领域不断地发展以及三维激光雷达的普及，应用于激光点云数据语义分割的算法也得到了广泛的关注与研究。目前，大多数激光SLAM仅使用的是激光数据的几何信息，虽然已能够获取较为准确的定位与地图，但是最终所建立的地图仅由相应点云堆叠而成，难以理解且不易于后续导航应用。此外，当系统在高度动态的环境中运行时，由于过多移动对象的存在，使得生成一致的地图变得困难。
发明内容
本发明实施例的目的是提供一种基于三维激光雷达构建语义地图的方法及系统，该方法及系统能够高效生成语义地图。
为了实现上述目的，本发明实施例提供一种基于三维激光雷达构建语义地图的方法，所述方法包括：
建立点云语义分割的全卷积神经网络模型；
采用大规模KITTI语义数据集与现场环境数据集训练所述全卷积神经网络模型；
采用训练完成的所述全卷积神经网络根据采集信息生成对应的语义信息；
采用SLAM方法根据所述语义信息和采集信息构建语义地图。
可选地，所述全卷积神经网络模型包括：
下采样编码器，用于接收输入的采集信息，并在所述采集信息的垂直方向上保留信息，在水平方向上执行下采样操作；
解码器模块，用于将所述下采样编码器输出的特征上采样至原始的图像分辨率；
推理点云语义模块，用于根据所述解码器模块输出的特征对点云语义进行分类，以得到所述语义信息。
可选地，建立点云语义分割的全卷积神经网络模型包括：
在三维激光雷达的传感器仅能够在垂直平面上扫描成像的情况下，对所述采集信息进行去斜操作，去除所述采集信息中的移动物体，以得到无畸变的3D点云数据；
根据公式(1)将所述3D点云数据转换为二维图像数据，
Figure BDA0003648399740000021
其中，u、v为所述二维图像数据中的坐标，x1、y1、z1分别为所述采集信息中的点的坐标，fovup为所述三维激光雷达垂直向上的视场角度，col为二维图像数据的宽度，row为二维图像数据的高度，fovdown为所述三维激光雷达垂直向下的视场角度。
可选地，所述解码器模块包括Darknet53网络；
所述推理点云语义模块用于：
根据公式(2)对所述点云语义进行分类，
Figure BDA0003648399740000031
其中，
Figure BDA0003648399740000032
为归一化后的分类至类别c的概率，resc为类别c对应的无边界的输出结果，C为类别的数量。
可选地，采用大规模KITTI语义数据集与现场环境数据集训练所述全卷积神经网络模型包括：
采用随机梯度下降法和公式(3)对所述全卷积神经网络模型进行迭代优化，
Figure BDA0003648399740000033
其中，L为加权交叉熵损失函数的值，C为类别的数量，
Figure BDA0003648399740000034
fc为类别c出现的概率，ε为偏置量，
Figure BDA0003648399740000035
为归一化后的分类至类别c的概率，
Figure BDA0003648399740000036
resc为类别c对应的无边界的输出结果，yc为归一化前的分类至类别c的概率。
可选地，采用SLAM方法根据所述语义信息和采集信息构建语义地图包括：
遍历当前边缘特征点集中的每个当前边缘特征点，在局部地图边缘特征点集中寻找与所述当前边缘特征点最接近的点；
以所述最接近的点为原点寻找相邻点集；
根据公式(4)计算相邻点集中各个点的中心均值坐标，
Figure BDA0003648399740000037
其中，cx、cy、cz为所述中心均值坐标，xk、yk、zk为第k个点的坐标，N为所述相邻点集中点的数量；
根据公式(5)计算所述相邻点集在每个方向上的平均误差，
Figure BDA0003648399740000038
其中，ax、ay、az为所述相邻点集在每个方向上的平均误差；
根据公式(6)计算所述相邻点集的协方差矩阵，
Figure BDA0003648399740000041
根据公式(7)计算当前边缘特征点到对应的边缘线的距离残差，
Figure BDA0003648399740000042
其中，
Figure BDA0003648399740000043
为第i个当前边缘特征点的距离残差，A、B分别为在所述当前边缘特征点对应边缘线的方向上，且过相邻点集的中心均值点的直线上任取的两个附近的点，P为所述当前边缘特征点，所述边缘线的方向是矩阵Ae最大特征值所对应的特征向量；
根据公式(8)计算语义不一致参数，
Figure BDA0003648399740000044
其中，
Figure BDA0003648399740000045
为第i个边缘特征点的语义不一致参数，
Figure BDA0003648399740000046
为所述相邻点集中的第k个点，
Figure BDA0003648399740000047
分别表示第i个当前边缘特征点，
Figure BDA0003648399740000048
表示判断第k个点和第i个当前边缘特征点的语义标签是否一致；
根据公式(9)计算当前距离残差的总权重，
Figure BDA0003648399740000049
其中，
Figure BDA00036483997400000410
为所述总权重，α、β分别为几何权重因子和语义权重因子。
可选地，采用SLAM方法根据所述语义信息和采集信息构建语义地图包括：
遍历当前平面特征点集中的每个当前平面特征点，在局部地图平面特征点集中寻找与所述当前平面特征点最接近的点；
以所述最接近的点为原点寻找相邻点集；
计算所述相邻点集的协方差矩阵
根据公式(4)计算相邻点集中各个点的中心均值坐标，
Figure BDA0003648399740000051
其中，cx、cy、cz为所述中心均值坐标，xk、yk、zk为第k个点的坐标，N为所述相邻点集中点的数量；
根据公式(5)计算所述相邻点集在每个方向上的平均误差，
Figure BDA0003648399740000052
其中，ax、ay、az为所述相邻点集在每个方向上的平均误差；
根据公式(6)计算所述相邻点集的协方差矩阵，
Figure BDA0003648399740000053
根据公式(10)计算语义不一致参数，
Figure BDA0003648399740000054
其中，
Figure BDA0003648399740000055
为第i个平面特征点的语义不一致参数，
Figure BDA0003648399740000056
为所述相邻点集中的第k个点，
Figure BDA0003648399740000057
分别表示第i个当前平面特征点，
Figure BDA0003648399740000058
表示判断第k个点和第i个当前边缘特征点的语义标签是否一致；
根据公式(11)计算当前距离残差的总权重，
Figure BDA0003648399740000059
其中，
Figure BDA00036483997400000510
为所述总权重，α、β分别为几何权重因子和语义权重因子。
根据公式(12)计算当前平面特征点到对应的平面的距离残差，
Figure BDA00036483997400000511
其中，
Figure BDA00036483997400000512
为第i个当前平面特征点的距离残差，Dx+Ey+Cz+G＝0为局部地图平面特征点集所在的平面。该平面的方向是协方差矩阵Ae最小特征值所对应的特征向量。
可选地，采用SLAM方法根据所述语义信息和采集信息构建语义地图包括：
根据该公式(13)确定所述SLAM方法的目标函数，
Figure BDA0003648399740000061
其中，e(T)为所述目标函数，Fe为当前激光扫描帧的边缘特征点集，pi为局部地图边缘特征点集中的点，Fp为当前激光扫描帧的平面特征点集，
Figure BDA0003648399740000062
为第i个边缘特征的总权重，
Figure BDA0003648399740000063
为当前第i个边缘特征点到对应的边缘线的距离残差，
Figure BDA0003648399740000064
为第i个平面特征的总权重，
Figure BDA0003648399740000065
为当前第i个平面特征点到对应的平面的距离残差。
另一方面，本发明还提供一种基于三维激光雷达构建语义地图的系统，所述系统包括处理器，所述处理器用于执行如上述任一所述的方法。
再一方面，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有指令，所述指令用于被机器读取以使得所述机器执行如上述任一所述的方法。
通过上述技术方案，本发明提供的基于三维激光雷达构建语义地图的方法及系统通过构建点云语义分割的全卷积神经网络，并通过构建大规模KITTI语义数据集和现场环境数据集来训练该全卷积神经网络，最后，通过全卷积神经网络输出的语义信息和现场激光雷达传感器的采集信息采用SLAM方法来构建语义地图。相较于现有技术而言，本发明提供的方法仅实用一个激光雷达传感器的硬件就能够实现语义地图的构建，提高了语义地图的构建效率，降低了算法的复杂度。
本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：
图1是根据本发明的一个实施方式的基于三维激光雷达构建语义地图的方法的流程图；
图2是根据本发明的一个实施方式的全卷积神经网络模型的结构框图；
图3是根据本发明的一个实施方式的全卷积神经网络模型的优选示例图；
图4是根据本发明的一个实施方式的坐标转换的示意图；
图5是根据本发明的一个实施方式的针对边缘特征点采用SLAM方法根据语义信息和采集信息构建语义地图的流程图；
图6是根据本发明的一个实施方式的针对平面特征点采用SLAM方法根据语义信息和采集信息构建语义地图的流程图。
具体实施方式
以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。
图1是根据本发明的一个实施方式的基于三维激光雷达构建语义地图的方法的流程图。在该图1中，该方法可以包括：
在步骤S10中，建立点云语义分割的全卷积神经网络模型；
在步骤S11中，采用大规模KITTI语义数据集与现场环境数据集训练全卷积神经网络模型；
在步骤S12中，采用训练完成的全卷积神经网络根据采集信息生成对应的语义信息；
在步骤S13中，采用SLAM方法根据语义信息和采集信息构建语义地图。
在该图1所示出的方法中，建立的全卷积神经网络模型的结构示意图可以是如图2和图3所示。其中，图2为整体的结构框图，图3为该全卷积神经网络模型的优选示例图。在图2中，下采样编码器01可以与解码器模块02连接，解码器模块02可以与推理点云语义模块03连接。
具体地，下采样编码器01可以用于接收输入的采集信息，并在该采集信息的垂直方向上保留信息，在水平方向上执行下采样操作。下采样编码器01在执行下采样操作时具有更快的运行速度。对于激光雷达传感器而言，其数据投影成的图像在垂直方向上的信息是由激光雷达线束所决定的，其中所包含的信息相对较少，因此只需要保留在垂直反向上的信息，转而对水平方向上的信息进行下采样操作。
解码器模块02可以用于下采样编码器02输出的特征上采样至原始的图像分辨率。在本发明的一个优选示例中，该解码器模块可以是基于图像分类、目标检测等任务的DarkNet网络骨干架构(Darknet53网络)的来构建，从而将提取到的特征向上采样到原始的图像分辨率。
推理点云语义模块03可以用于根据解码器模块02输出的特征对点云语义进行分类，以得到语义信息。对于该推理点云语义模块03的分类函数，虽然可以是本领域人员所知的多种函数，但是在本发明的一个优选示例中，该推理点云语义模块03可以是采用公式(1)来作为该分类函数，
Figure BDA0003648399740000081
其中，
Figure BDA0003648399740000082
为归一化后的分类至类别c的概率，resc为类别c对应的无边界的输出结果，C为类别的数量。
步骤S11可以用于采用大规模KITTI语义数据集与现场环境数据集训练全卷积神经网络模型。其中，大规模KITTI语义数据集可以是在现有的KITTI数据集进行大量密集的点云语义标注。而现场环境数据集则可以是构建的与该大规模KITTI语义数据集相应的实际环境的语义数据集。大规模模KITTI语义数据集和现场环境数据集的结合训练，从而确保被训全卷积神经网络能够对现场实际测试环境的语义分割效果。
在训练该全卷积神经网络模型前，由于Velodyne传感器等机械式激光雷达是通过机械旋转在垂直平面上进行扫描进而成像的，这种类似相机逐行曝光的方式会带来果冻效应。即，当载体机器人或被检测对象在移动时，由于逐行曝光，正运动的物体的不同部位不在同一时间曝光，会导致出现晃动、斜坡图像等现象。因此为了获取每个激光扫描环境更几何一致性的表示，我们第一步是将每个去斜的3D点云数据转换为二维图像数据表示，该图像称为点云的球面投影图像，如图4投影坐标变换示意图所示。该投影并不是将激光雷达扫描曲面进行简单地展开，而是一个基坐标系变换的过程，其内一个像素可以包含多个测量值，且按多个测量的点云距离R降序排列，确保在图像中呈现的所有点都是传感器当前视野中。.
具体地，即：在三维激光雷达的传感器仅能够在垂直平面上扫描成像的情况下，对采集信息进行去斜操作，去除采集信息中的移动物体，以得到无畸变的3D点云数据；再根据公式(2)将3D点云数据转换为二维图像数据，
Figure BDA0003648399740000091
其中，u、v为二维图像数据中的坐标，x1、y1、z1分别为采集信息中的点的坐标，fovup为三维激光雷达垂直向上的视场角度，col为二维图像数据的宽度，row为二维图像数据的高度，fovdown为三维激光雷达垂直向下的视场角度。
在训练该全卷积神经网络模型的过程中，可以是采用随机梯度下降法和公式(3)对全卷积神经网络模型进行迭代优化，
Figure BDA0003648399740000101
其中，L为加权交叉熵损失函数的值，C为类别的数量，
Figure BDA0003648399740000102
fc为类别c出现的概率，ε为偏置量，
Figure BDA0003648399740000103
为归一化后的分类至类别c的概率，
Figure BDA0003648399740000104
resc为类别c对应的无边界的输出结果，yc为归一化前的分类至类别c的概率。在该公式(3)所示出的优化函数中，由于增加了参数wc，使得对于频率低的类中的点，相比出现频率高的类中的点，其惩罚会更大，从而提高了迭代优化的效率。
步骤S13可以用于采用SLAM方法根据语义信息和采集信息构建语义地图。具体地，对于边缘特征点和平面特征点，该步骤S13可以分别包括如图5和图6中所示出的步骤。在该图5中，该步骤S13可以包括：
在步骤S20中，遍历当前边缘特征点集中的每个当前边缘特征点，在局部地图边缘特征点集中寻找与当前边缘特征点最接近的点。其中，该局部地图边缘特征点集可以是当前已生成的所有特征点集；
在步骤S21中，以最接近的点为原点寻找相邻点集；
在步骤S22中，根据公式(4)计算相邻点集中各个点的中心均值坐标，
Figure BDA0003648399740000105
其中，cx、cy、cz为中心均值坐标，xk、yk、zk为第k个点的坐标，N为相邻点集中点的数量；
在步骤S23中，根据公式(5)计算相邻点集在每个方向上的平均误差，
Figure BDA0003648399740000111
其中，ax、ay、az为相邻点集在每个方向上的平均误差；
在步骤S24中，根据公式(6)计算相邻点集的协方差矩阵，
Figure BDA0003648399740000112
在步骤S25中，根据公式(7)计算当前边缘特征点到对应的边缘线的距离残差，
Figure BDA0003648399740000113
其中，
Figure BDA0003648399740000114
为第i个当前边缘特征点的距离残差，A、B分别为在当前边缘特征点对应边缘线的方向上，且过相邻点集的中心均值点的直线上任取的两个附近的点，P为当前边缘特征点，边缘线的方向是矩阵Ae最大特征值所对应的特征向量；
在步骤S26中，根据公式(8)计算语义不一致参数，
Figure BDA0003648399740000115
其中，
Figure BDA0003648399740000116
为第i个边缘特征点的语义不一致参数，
Figure BDA0003648399740000117
为相邻点集中的第k个点，
Figure BDA0003648399740000118
分别表示第i个当前边缘特征点，
Figure BDA0003648399740000119
表示判断第k个点和第i个当前边缘特征点的语义标签是否一致；
在步骤S27中，根据公式(9)计算当前距离残差的总权重，
Figure BDA00036483997400001110
其中，
Figure BDA00036483997400001111
为总权重，α、β分别为几何权重因子和语义权重因子。
在图6中，该步骤S13可以包括：
在步骤S30中，遍历当前平面特征点集中的每个当前平面特征点，在局部地图平面特征点集中寻找与当前平面特征点最接近的点；
在步骤S31中，以最接近的点为原点寻找相邻点集；
在步骤S32中，计算相邻点集的协方差矩阵
在步骤S33中，根据公式(4)计算相邻点集中各个点的中心均值坐标，
Figure BDA0003648399740000121
其中，cx、cy、cz为中心均值坐标，xk、yk、zk为第k个点的坐标，N为相邻点集中点的数量；
在步骤S34中，根据公式(5)计算相邻点集在每个方向上的平均误差，
Figure BDA0003648399740000122
其中，ax、ay、az为相邻点集在每个方向上的平均误差；
在步骤S35中，根据公式(6)计算相邻点集的协方差矩阵，
Figure BDA0003648399740000123
在步骤S36中，根据公式(10)计算语义不一致参数，
Figure BDA0003648399740000124
其中，
Figure BDA0003648399740000125
为第i个平面特征点的语义不一致参数，
Figure BDA0003648399740000126
为相邻点集中的第k个点，
Figure BDA0003648399740000127
分别表示第i个当前平面特征点，
Figure BDA0003648399740000128
表示判断第k个点和第i个当前边缘特征点的语义标签是否一致；
在步骤S37中，根据公式(11)计算当前距离残差的总权重，
Figure BDA0003648399740000129
其中，
Figure BDA00036483997400001210
为该总权重，α、β分别为几何权重因子和语义权重因子。
在步骤S38中，根据公式(12)计算当前平面特征点到对应的平面的距离残差，
Figure BDA0003648399740000131
其中，
Figure BDA0003648399740000132
为第i个当前平面特征点的距离残差，Dx+Ey+Cz+G＝0为局部地图平面特征点集所在的平面。该平面的方向是协方差矩阵Ae最小特征值所对应的特征向量。
在该实施方式中，对于SLAM方法的目标函数，虽然可以是本领域人员所知的多种形式。但是在本发明的一个优选示例中，该目标函数可以是公式(13)，
Figure BDA0003648399740000133
其中，e(T)为目标函数，Fe为当前激光扫描帧的边缘特征点集，pi为局部地图边缘特征点集中的点，Fp为当前激光扫描帧的平面特征点集，
Figure BDA0003648399740000134
为第i个边缘特征的总权重，
Figure BDA0003648399740000135
为当前第i个边缘特征点到对应的边缘线的距离残差，
Figure BDA0003648399740000136
为第i个平面特征的总权重，
Figure BDA0003648399740000137
为当前第i个平面特征点到对应的平面的距离残差。
另一方面，本发明还提供一种基于三维激光雷达构建语义地图的系统，所述系统包括处理器，所述处理器用于执行如上述任一所述的方法。
再一方面，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有指令，所述指令用于被机器读取以使得所述机器执行如上述任一所述的方法。
通过上述技术方案，本发明提供的基于三维激光雷达构建语义地图的方法及系统通过构建点云语义分割的全卷积神经网络，并通过构建大规模KITTI语义数据集和现场环境数据集来训练该全卷积神经网络，最后，通过全卷积神经网络输出的语义信息和现场激光雷达传感器的采集信息采用SLAM方法来构建语义地图。相较于现有技术而言，本发明提供的方法仅实用一个激光雷达传感器的硬件就能够实现语义地图的构建，提高了语义地图的构建效率，降低了算法的复杂度。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种基于三维激光雷达构建语义地图的方法，其特征在于，所述方法包括：
建立点云语义分割的全卷积神经网络模型；
采用大规模KITTI语义数据集与现场环境数据集训练所述全卷积神经网络模型；
采用训练完成的所述全卷积神经网络根据采集信息生成对应的语义信息；
采用SLAM方法根据所述语义信息和采集信息构建语义地图。
2.根据权利要求1所述的方法，其特征在于，所述全卷积神经网络模型包括：
下采样编码器，用于接收输入的采集信息，并在所述采集信息的垂直方向上保留信息，在水平方向上执行下采样操作；
解码器模块，用于将所述下采样编码器输出的特征上采样至原始的图像分辨率；
推理点云语义模块，用于根据所述解码器模块输出的特征对点云语义进行分类，以得到所述语义信息。
3.根据权利要求1所述的方法，其特征在于，建立点云语义分割的全卷积神经网络模型包括：
在三维激光雷达的传感器仅能够在垂直平面上扫描成像的情况下，对所述采集信息进行去斜操作，去除所述采集信息中的移动物体，以得到无畸变的3D点云数据；
根据公式(1)将所述3D点云数据转换为二维图像数据，
Figure FDA0003648399730000021
其中，u、v为所述二维图像数据中的坐标，x1、y1、z1分别为所述采集信息中的点的坐标，fovup为所述三维激光雷达垂直向上的视场角度，col为二维图像数据的宽度，row为二维图像数据的高度，fovdown为所述三维激光雷达垂直向下的视场角度。
4.根据权利要求2所述的方法，其特征在于，所述解码器模块包括Darknet53网络；
所述推理点云语义模块用于：
根据公式(2)对所述点云语义进行分类，
Figure FDA0003648399730000022
其中，
Figure FDA0003648399730000023
为归一化后的分类至类别c的概率，resc为类别c对应的无边界的输出结果，C为类别的数量。
5.根据权利要求1所述的方法，其特征在于，采用大规模KITTI语义数据集与现场环境数据集训练所述全卷积神经网络模型包括：
采用随机梯度下降法和公式(3)对所述全卷积神经网络模型进行迭代优化，
Figure FDA0003648399730000024
其中，L为加权交叉熵损失函数的值，C为类别的数量，
Figure FDA0003648399730000031
fc为类别c出现的概率，ε为偏置量，
Figure FDA0003648399730000032
为归一化后的分类至类别c的概率，
Figure FDA0003648399730000033
resc为类别c对应的无边界的输出结果，yc为归一化前的分类至类别c的概率。
6.根据权利要求1所述的方法，其特征在于，采用SLAM方法根据所述语义信息和采集信息构建语义地图包括：
遍历当前边缘特征点集中的每个当前边缘特征点，在局部地图边缘特征点集中寻找与所述当前边缘特征点最接近的点；
以所述最接近的点为原点寻找相邻点集；
根据公式(4)计算相邻点集中各个点的中心均值坐标，
Figure FDA0003648399730000034
其中，cx、cy、cz为所述中心均值坐标，xk、yk、zk为第k个点的坐标，N为所述相邻点集中点的数量；
根据公式(5)计算所述相邻点集在每个方向上的平均误差，
Figure FDA0003648399730000035
其中，ax、ay、az为所述相邻点集在每个方向上的平均误差；
根据公式(6)计算所述相邻点集的协方差矩阵，
Figure FDA0003648399730000036
根据公式(7)计算当前边缘特征点到对应的边缘线的距离残差，
Figure FDA0003648399730000037
其中，
Figure FDA0003648399730000041
为第i个当前边缘特征点的距离残差，A、B分别为在所述当前边缘特征点对应边缘线的方向上，且过相邻点集的中心均值点的直线上任取的两个附近的点，P为所述当前边缘特征点，所述边缘线的方向是矩阵Ae最大特征值所对应的特征向量；
根据公式(8)计算语义不一致参数，
Figure FDA0003648399730000042
其中，
Figure FDA0003648399730000043
为第i个边缘特征点的语义不一致参数，
Figure FDA0003648399730000044
为所述相邻点集中的第k个点，
Figure FDA0003648399730000045
分别表示第i个当前边缘特征点，
Figure FDA0003648399730000046
表示判断第k个点和第i个当前边缘特征点的语义标签是否一致；
根据公式(9)计算当前距离残差的总权重，
Figure FDA0003648399730000047
其中，
Figure FDA0003648399730000048
为所述总权重，α、β分别为几何权重因子和语义权重因子。
7.根据权利要求1所述的方法，其特征在于，采用SLAM方法根据所述语义信息和采集信息构建语义地图包括：
遍历当前平面特征点集中的每个当前平面特征点，在局部地图平面特征点集中寻找与所述当前平面特征点最接近的点；
以所述最接近的点为原点寻找相邻点集；
计算所述相邻点集的协方差矩阵
根据公式(4)计算相邻点集中各个点的中心均值坐标，
Figure FDA0003648399730000049
其中，cx、cy、cz为所述中心均值坐标，xk、yk、zk为第k个点的坐标，N为所述相邻点集中点的数量；
根据公式(5)计算所述相邻点集在每个方向上的平均误差，
Figure FDA0003648399730000051
其中，ax、ay、az为所述相邻点集在每个方向上的平均误差；
根据公式(6)计算所述相邻点集的协方差矩阵，
Figure FDA0003648399730000052
根据公式(10)计算语义不一致参数，
Figure FDA0003648399730000053
其中，
Figure FDA0003648399730000054
为第i个平面特征点的语义不一致参数，
Figure FDA0003648399730000055
为所述相邻点集中的第k个点，
Figure FDA0003648399730000056
分别表示第i个当前平面特征点，
Figure FDA0003648399730000057
表示判断第k个点和第i个当前边缘特征点的语义标签是否一致；
根据公式(11)计算当前距离残差的总权重，
Figure FDA0003648399730000058
其中，
Figure FDA0003648399730000059
为所述总权重，α、β分别为几何权重因子和语义权重因子。
根据公式(12)计算当前平面特征点到对应的平面的距离残差，
Figure FDA00036483997300000510
其中，
Figure FDA00036483997300000511
为第i个当前平面特征点的距离残差，Dx+Ey+Cz+G＝0为局部地图平面特征点集所在的平面。
8.根据权利要求1所述的方法，其特征在于，采用SLAM方法根据所述语义信息和采集信息构建语义地图包括：
根据该公式(13)确定所述SLAM方法的目标函数，
Figure FDA00036483997300000512
其中，e(T)为所述目标函数，Fe为当前激光扫描帧的边缘特征点集，pi为局部地图边缘特征点集中的点，Fp为当前激光扫描帧的平面特征点集，
Figure FDA0003648399730000061
为第i个边缘特征的总权重，
Figure FDA0003648399730000062
为当前第i个边缘特征点到对应的边缘线的距离残差，
Figure FDA0003648399730000063
为第i个平面特征的总权重，
Figure FDA0003648399730000064
为当前第i个平面特征点到对应的平面的距离残差。
9.一种基于三维激光雷达构建语义地图的系统，其特征在于，所述系统包括处理器，所述处理器用于执行如权利要求1至8任一所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有指令，所述指令用于被机器读取以使得所述机器执行如权利要求1至8任一所述的方法。
CN202210541132.XA 2022-05-17 2022-05-17 基于三维激光雷达构建语义地图的方法及系统 Pending CN115035404A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210541132.XA CN115035404A (zh) 2022-05-17 2022-05-17 基于三维激光雷达构建语义地图的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210541132.XA CN115035404A (zh) 2022-05-17 2022-05-17 基于三维激光雷达构建语义地图的方法及系统

Publications (1)

Publication Number Publication Date
CN115035404A true CN115035404A (zh) 2022-09-09

Family

ID=83120815

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210541132.XA Pending CN115035404A (zh) 2022-05-17 2022-05-17 基于三维激光雷达构建语义地图的方法及系统

Country Status (1)

Country Link
CN (1) CN115035404A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116229057A (zh) * 2022-12-22 2023-06-06 之江实验室 一种基于深度学习的三维激光雷达点云语义分割的方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116229057A (zh) * 2022-12-22 2023-06-06 之江实验室 一种基于深度学习的三维激光雷达点云语义分割的方法和装置
CN116229057B (zh) * 2022-12-22 2023-10-27 之江实验室 一种基于深度学习的三维激光雷达点云语义分割的方法和装置

Similar Documents

Publication Publication Date Title
Gerdzhev et al. Tornado-net: multiview total variation semantic segmentation with diamond inception module
CN112613378B (zh) 3d目标检测方法、系统、介质及终端
CN110728658A (zh) 一种基于深度学习的高分辨率遥感影像弱目标检测方法
CN113706480B (zh) 一种基于关键点多尺度特征融合的点云3d目标检测方法
CN112529015A (zh) 一种基于几何解缠的三维点云处理方法、装置及设备
CN115731533B (zh) 一种基于改进YOLOv5的车载目标检测方法
CN111091023B (zh) 一种车辆检测方法、装置及电子设备
Cusicanqui et al. Usability of aerial video footage for 3-D scene reconstruction and structural damage assessment
CN111797836B (zh) 一种基于深度学习的地外天体巡视器障碍物分割方法
KR20190070514A (ko) 격자지도 생성 장치 및 방법
KR102217020B1 (ko) 단일 단계 고밀도 피라미드 특징 네트워크를 기반으로 하는 고해상도 항공 이미지 내의 물체감지장치
CN113284163A (zh) 基于车载激光雷达点云的三维目标自适应检测方法及系统
CN116071720A (zh) 一种基于激光雷达的车道线及车辆检测方法、设备及介质
CN116452852A (zh) 一种高精度矢量地图的自动生成方法
CN115035404A (zh) 基于三维激光雷达构建语义地图的方法及系统
CN116503760A (zh) 基于自适应边缘特征语义分割的无人机巡航检测方法
CN111860197A (zh) 基于多光谱多模的低慢小目标感知方法及系统
CN115147798A (zh) 可行驶区域预测方法、模型、装置及车辆
CN115115601A (zh) 一种基于形变注意金字塔的遥感舰船目标检测方法
CN116912675B (zh) 一种基于特征迁移的水下目标检测方法及系统
CN116719031B (zh) 一种合成孔径雷达sar图像的海洋涡旋检测方法及系统
CN117475428A (zh) 一种三维目标检测方法、系统及设备
CN117173399A (zh) 一种跨模态交叉注意力机制的交通目标检测方法及系统
CN116665153A (zh) 一种基于改进型Deeplabv3+网络模型的道路场景分割方法
CN114005110B (zh) 3d检测模型训练方法与装置、3d检测方法与装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination