CN108415032A - 一种基于深度学习与激光雷达的点云语义地图构建方法 - Google Patents
一种基于深度学习与激光雷达的点云语义地图构建方法 Download PDFInfo
- Publication number
- CN108415032A CN108415032A CN201810179817.8A CN201810179817A CN108415032A CN 108415032 A CN108415032 A CN 108415032A CN 201810179817 A CN201810179817 A CN 201810179817A CN 108415032 A CN108415032 A CN 108415032A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- laser radar
- cloud
- map
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000013135 deep learning Methods 0.000 title claims abstract description 16
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 19
- 230000008569 process Effects 0.000 claims abstract description 13
- 238000005457 optimization Methods 0.000 claims abstract description 12
- 238000010276 construction Methods 0.000 claims abstract description 4
- 230000003321 amplification Effects 0.000 claims description 8
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000003475 lamination Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 6
- 230000007797 corrosion Effects 0.000 claims description 5
- 238000005260 corrosion Methods 0.000 claims description 5
- 238000000926 separation method Methods 0.000 claims description 4
- 238000003062 neural network model Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 2
- 230000001537 neural effect Effects 0.000 claims 1
- 230000001419 dependent effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000003542 behavioural effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000009933 burial Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Geometry (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及智能语义地图的技术领域，更具体地，涉及一种基于深度学习与激光雷达的点云语义地图构建方法。该方法包括：步骤1：构造深度卷积神经网络；步骤2：激光雷达点云预处理；步骤3：训练深度卷积神经网络模型；步骤4：将激光雷达点云输入深度卷积神经网络模型，得到激光雷达点云中每个点的标签，即含语义标注的点云；步骤5：使用含语义标注的激光雷达点云进行实时点云地图的构建，获得点云语义地图；步骤6：在点云语义地图构建后，使用基于滑动窗口的投票对点云地图中语义信息进行全局优化与修正。
Description
技术领域
本发明涉及智能语义地图的技术领域，更具体地，涉及一种基于深度学习与激光雷达的点云语义地图构建方法。
背景技术
激光雷达点云地图在对于自主机器人（包括但不仅限于：自动驾驶车辆、机器人、无人飞行器等）感知与运动规划的过程中具有十分重要的作用。现已有多种基于激光雷达进行生成激光点云地图的方法。激光雷达点云地图通常由大规模，离散的点组成。因此，缺少语义信息的激光雷达点云地图对于人眼辨识，较为困难，不利于人工后期处理。同时，受限于地图缺少语义信息，工程师难以为机器人制定较为复杂的运动规划。目前已有研究针对大规模的点云地图中物体进行语义分割，从而生成语义地图，但是，现有方法耗时较长，不利于机器人实时应用。
近年来，深度学习在目标识别、检测、语义分割等计算机视觉领域取得了巨大成功，同时也应用到了点云处理方向，深度学习方法能够自动提取适用于分类的点云特征，进行端到端训练，在准确率、效率方面具有极大的优势。
现有技术的缺点是，基于相机传感器构建地图，鲁棒性较差。现有技术依赖于多种传感器分别构建二维、三维地图，融合过程繁琐。现有技术依赖于人体行为特征进行语义标记，数据来源过于特殊。现有技术依赖于多种传感器同时构建静态路网与动态障碍地图，过程繁琐。现有技术进行语义标记难度较大。
导致上述缺点的原因是，相机传感器易受光照强度影响，尤其在室外场景鲁棒性较差。现有技术分别使用激光雷达与RGB-D深度传感器构建二维栅格地图与三维室内地图，不同维数的地图融合过程需要投影与坐标系标定等操作，过程繁琐。依赖于穿戴式传感器收集人体行为特征进行语义标注，需要人佩戴相应传感器，同时由传感器在人活动过程中收集行为特征，进一步进行语义标注。这不仅需要人配合佩戴特定传感器，数据来源特殊，同时语义标注范围也与人的活动范围相关，不适用于大型场景，操作性较低。在使用多传感器进行静态路网、动态障碍图的构建的过程中，需要预先经过一系列传感器标定操作对各传感器进行融合，该标定过程较为复杂且存在误差。同时，GPS传感器在室内无法使用；高清卫星图像的难以获取，故多传感器同时构建静态路网与障碍地图方案过程繁琐，不适用于室内场景与推广。现有技术中地图的语义标记都与人相关，每张地图都需要人工单独标记，对于大型语义地图构建而言工作量较大。
发明内容
本发明为克服上述现有技术所述的至少一种缺陷，提供一种基于深度学习与激光雷达的点云语义地图构建方法，本发明基于深度卷积神经网络的激光雷达点云实时语义分割，实现实时、准确的全帧点云语义标注，并基于上述点云进行点云地图的构建。本发明仅依赖于激光雷达点云实现地图构建，由于激光雷达不受光照影响的传感器特性，激光雷达点云地图鲁棒性较高，且适用于室内、室外场景。同时，本发明仅使用单一激光雷达传感器即可生成三维点云地图，不涉及多种传感器间的标定与融合，过程简便。此外，本发明中地图构建与点云地图语义标注均可由机器人自主完成，无需人工参与。本发明使用深度卷积神经网络自动提取适合点云形态、材质特征，使用端到端模型进行特征提取及语义标注。整体流程一步到位简便、同时能够保证较高的准确率。本发明在训练深度卷积神经网络的过程中只要提供部分含语义标注信息的点云帧，而无需大规模地图的语义标注，节省了对大规模地图进行标注的人力、物力。
本发明的技术方案是：一种基于深度学习与激光雷达的点云语义地图构建方法，其中，包括以下步骤：
步骤1：构造适用于激光点云实时处理的深度卷积神经网络；即，包括2个分离卷积层、2个最大池化层、3个腐蚀卷积层及两个反卷积层的深度卷积神经网络，输入为预处理后的多通道二维点云矩阵，输出为该点云矩阵每个元素对应的语义标注；
步骤2：收集激光雷达点云帧，并对点云帧预处理；对于每张激光雷达点云帧，首先使用固定大小扇形对其随机切片，获得切片点云；之后将切片点云沿欧几里得直角坐标系z轴进行随机旋转，进行数据扩增，增加数据量与深度卷积网络泛化能力；
步骤3：训练神经网络模型；将预处理、数据扩增后的切片点云，作为训练样本，使用反向传播及随机梯度下降，训练深度卷积神经网络，最小化损失函数，最终得到优化之后的网络连接权重；
步骤4：运行模型，获得语义标注点云；使用卷积神经网络实时对激光雷达点云进行语义标注；
步骤5：点云地图构建；使用含语义标注的点云进行点云地图构建，从而得到点云语义地图；
步骤6：点云语义地图全局优化；使用滑动窗口与投票机制，利用点云语义地图激光点密度较大的特点中对由于单一激光雷达点云帧数据量较少、激光点稀疏而造成的错误标注进行纠正。
进一步的，所述的步骤1中构建的深度卷积神经网络模型以预处理后的切片点云作为输入，以包括2个分离卷积层、2个最大池化层、3个腐蚀卷积层及两个反卷积层的深度卷积神经网络的作为激光雷达点云语义标注的网络模型架构。
进一步的，所述的步骤2中对激光点云帧进行随机切片及旋转扩增，提升数据丰富度；旋转扩增操作中，主要使用下列旋转角度ω；
（公式1）
其中， ω为旋转角度， δ为[-π/4, π/4]范围内的随机数，上述旋转可将任意切片点云尽可能分布到360°空间的各个范围内，增强泛化能力。
进一步的，所述的步骤3中深度卷积神经网络训练过程中，使用扩增后的数据集训练深度卷积神经网络模型。
进一步的，所述的步骤4中运行模型，首先将激光雷达实时点云帧切分成四块作为四批数据，同时输入卷积神经网络中，从而得到带语义标注的点云；并将切片点云结果重新组合成完整点云。
进一步的，所述的步骤5中对于点云地图构建方法，没有特定依赖；所有使用激光雷达点云进行三维地图构建的方法均可适用，只需使用步骤4产生的语义标注点云作为输入即可。
进一步的，所述的步骤6中对于点云语义地图进行全局优化，主要利用三维滑动窗口，及区域投票机制，结合点云语义地图中点稠密的分布，纠正由于激光雷达点云帧点量稀疏造成的误分类状态。
本发明针对机器人激光雷达点云建图领域，提出一种基于激光雷达点云形态学与材料学特征，实现激光雷达点云的实时语义标注，并基于语义标注点云进行点云地图的构建，进而获得激光雷达点云语义地图方法。
与现有技术相比，有益效果是：本发明使用深度卷积神经网络对激光雷达点云语义标注，并结合语义标注点云与地图构建算法，实现激光雷达点云语义地图的构建。相对其他方法，本发明能够实现仅依赖于激光雷达传感器，进行大规模点云语义地图的构建。与现有技术相比，本发明具有如下优点：
本发明仅依赖激光雷达传感器进行地图构建，无需其他传感器协助，室内、室外场景均可适用。同时，相较于相机传感器构建的地图有更强的鲁棒性，不受光照变化影响。
本发明使用深度卷积神经网络自动提取激光雷达点云的形态、材料学特征，并直接对激光雷达点云帧进行实时语义标注，流程简便、效果准确。
本发明所提出方法中点云语义标注与构建地图过程均可由机器人自主完成，无需人工参与，可适用大范围场景。
本发明所提出方法主要针对点云构建地图之前的点云数据进行语义标注，并对初步点云语义地图构建之后进行全局优化修正，故该点云语义地图的构建方法对所有基于激光雷达点云构建三维地图的方式都使用。
本发明所提出的方法中使用单一传感器、轻量模型、流程简单，能够非常容易部署到自主机器人上。
附图说明
图1是本发明整体算法整体框架示意图。
图2是本发明预处理过程基本流程图。
图3是本发明训练过程基本流程图。
图4是本发明深度卷积神经网络模型结构图。
图5是本发明点云语义地图全局优化流程图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本专利的限制。
本发明的目的是提供一种基于深度学习与激光雷达的点云语义地图构建方法。本发明使用专为激光雷达点云语义分割设计的轻量级深度卷积网络，对预处理后激光雷达点云进行实时语义标注，得到点云中每个点的语义信息。并使用标注后激光雷达点云帧进行点云地图构建，获得初步点云语义地图。之后结合全局初步点云地图与局部滑动窗口，使用投票机制进行后处理，纠正因激光雷达点云单帧点数量较稀疏造成的漏标注、错标注的情况，获得最终点云语义地图，保证点云地图语义标注的准确度。研究人员只需在最终点云语义地图上进行简单的任务点部署工作，自主机器人即可利用点云地图语义信息完成复杂规划。本发明兼具适用场合种类广范围大、传感器依赖少、流程简单与无需人工大规模地图标记等优点。
本发明基于深度卷积神经网络进行激光雷达点云标注，并将标注后点云应用于点云地图构建中，从而生成激光雷达点云语义地图，能够广泛的应用于各类自主机器人上。
图1 为本发明提出的基于深度卷积神经网络的激光雷达点云语义地图构建算法整体框架示意图。如图1所示，该方法包括：
步骤1：构建用于激光雷达点云的深度卷积神经网络。
步骤2：激光雷达点云帧预处理，将激光雷达点云从欧几里得坐标投影至球坐标，从而获得二维多通道点云矩阵。
步骤3：训练用于激光雷达点云的深度卷积神经网络。
步骤4：使用所构建深度学习模型进行激光雷达点云帧的语义标注。
步骤5：基于激光雷达语义点云帧与任意基于激光雷达点云构建三维地图的方法，构建点云地图，即激光雷达点云语义地图。
步骤6：应用投票机制，纠正局部错误语义标注，对激光雷达点云语义地图进行全局优化。
如图2所示，图2 是本发明激光雷达点云预处理过程基本流程图。具体操作步骤为：1、解析激光雷达数据，获得激光雷达点云帧；2、将激光雷达点云从三维欧几里得直角坐标系（x, y, z）投影至球坐标系(θ，φ)，且球坐标系的离散化参数与激光雷达的硬件特点相关，其中θ为该激光点所属激光雷达发射器编号，即线束号；φ为激光点x-y平面上的夹角，如下图公式2所示，在得到φ后，再基于激光雷达水平角分辨率进行离散化。
(公式2)
如图3所示，图3 是本发明深度卷积神经网络的训练过程的基本流程图。具体操作步骤如下：1、预处理获得激光雷达点云矩阵；2、将其按照网络输入大小随机切片；3、将切片数据按照一定比例划分为训练集、校验集，与测试集。其中训练集与校验集经过随机旋转进行扩增；4、将数据输入到深度卷积神经网络中，使用梯度下降法训练模型。
如图4所示，图4 是本发明所构建的深度卷积神经网络的模型结构图。具体操作步骤如下：1、输入层为经过预处理的大小为H*W*C的多通道点云矩阵，其中H为激光雷达纵向激光束的数目，W为其水平角分辨率的倍数，此处W=512，C为使用通道数，此处C=5；2、输入【1】经过分离卷积层1，卷积核大小为3x3，个数为20，步长为1x1，输出结果【2】；3、【2】经过最大池化层1，卷积核大小为1x2，步长为1x2，输出结果【3】； 4、【3】经过分离卷积层1，卷积核大小为3x3，个数为32，步长为1x1，输出结果【4】；5、【4】经过最大池化层2，卷积核大小为1x2，步长为1x2，输出结果【5】；6、【5】同时经过腐蚀卷积层1、2、3，卷积核大小分别为3x3、3x3、5x5，个数为32，步长为1x1，腐蚀率分别为1\2、1\4、1\2，汇聚后输出结果【6】；7、【6】经过反卷积层1，卷积核大小为3x3，个数为64，步长为1x2，输出结果【7】；8、【7】与【4】汇聚后，经过反卷积层2，卷积核大小为3x3，个数为20，步长为1x2，输出结果【8】；9、【8】与【2】汇聚后，经过卷积层1，卷积核大小为1x1，个数为需分类类的数量，步长为1x1，输出最终语义结果，用于构建语义地图。
如图5所示，图5 是本发明在构建点云语义地图后进行全局优化的基本流程图。具体操作步骤如下：1、通过任意激光雷达构建三维点云地图的方法结合带语义标注的激光雷达点云帧，获得激光雷达点云语义地图；2、使用三维滑动窗口在所构建三维点云语义地图中滑动；3、对窗口内点云中每一点，寻找其窗口内的k近邻，并获得k近邻各点语义标注与置信度的加权关系，通过上述关系更改该点的语义标签；4、迭代全图，从而完成点云语义地图的全局优化。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (7)
1.一种基于深度学习与激光雷达的点云语义地图构建方法，其特征在于，包括以下步骤：
步骤1：构造适用于激光点云实时处理的深度卷积神经网络；即，包括2个分离卷积层、2个最大池化层、3个腐蚀卷积层及两个反卷积层的深度卷积神经网络，输入为预处理后的多通道二维点云矩阵，输出为该点云矩阵每个元素对应的语义标注；
步骤2：收集激光雷达点云帧，并对点云帧预处理；对于每张激光雷达点云帧，首先使用固定大小扇形对其随机切片，获得切片点云；之后将切片点云沿欧几里得直角坐标系z轴进行随机旋转，进行数据扩增，增加数据量与深度卷积网络泛化能力；
步骤3：训练神经网络模型；将预处理、数据扩增后的切片点云，作为训练样本，使用反向传播及随机梯度下降，训练深度卷积神经网络，最小化损失函数，最终得到优化之后的网络连接权重；
步骤4：运行模型，获得语义标注点云；使用卷积神经网络实时对激光雷达点云进行语义标注；
步骤5：点云地图构建；使用含语义标注的点云进行点云地图构建，从而得到点云语义地图；
步骤6：点云语义地图全局优化；使用滑动窗口与投票机制，利用点云语义地图激光点密度较大的特点中对由于单一激光雷达点云帧数据量较少、激光点稀疏而造成的错误标注进行纠正。
2.根据权利要求1所述的一种基于深度学习与激光雷达的点云语义地图构建方法，其特征在于：所述的步骤1中构建的深度卷积神经网络模型以预处理后的切片点云作为输入，以包括2个分离卷积层、2个最大池化层、3个腐蚀卷积层及两个反卷积层的深度卷积神经网络的作为激光雷达点云语义标注的网络模型架构。
3.根据权利要求1所述的一种基于深度学习与激光雷达的点云语义地图构建方法，其特征在于：所述的步骤2中对激光点云帧进行随机切片及旋转扩增，提升数据丰富度；旋转扩增操作中，主要使用下列旋转角度ω；
（公式1）
其中， ω为旋转角度， δ为[-π/4, π/4]范围内的随机数，上述旋转可将任意切片点云尽可能分布到360°空间的各个范围内，增强泛化能力。
4.根据权利要求1所述的一种基于深度学习与激光雷达的点云语义地图构建方法，其特征在于：所述的步骤3中深度卷积神经网络训练过程中，使用扩增后的数据集训练深度卷积神经网络模型。
5.根据权利要求1所述的一种基于深度学习与激光雷达的点云语义地图构建方法，其特征在于：所述的步骤4中运行模型，首先将激光雷达实时点云帧切分成四块作为四批数据，同时输入卷积神经网络中，从而得到带语义标注的点云；并将切片点云结果重新组合成完整点云。
6.根据权利要求1所述的一种基于深度学习与激光雷达的点云语义地图构建方法，其特征在于：所述的步骤5中对于点云地图构建方法，没有特定依赖；所有使用激光雷达点云进行三维地图构建的方法均可适用，只需使用步骤4产生的语义标注点云作为输入即可。
7.根据权利要求1所述的一种基于深度学习与激光雷达的点云语义地图构建方法，其特征在于：所述的步骤6中对于点云语义地图进行全局优化，主要利用三维滑动窗口，及区域投票机制，结合点云语义地图中点稠密的分布，纠正由于激光雷达点云帧点量稀疏造成的误分类状态。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810179817.8A CN108415032B (zh) | 2018-03-05 | 2018-03-05 | 一种基于深度学习与激光雷达的点云语义地图构建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810179817.8A CN108415032B (zh) | 2018-03-05 | 2018-03-05 | 一种基于深度学习与激光雷达的点云语义地图构建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108415032A true CN108415032A (zh) | 2018-08-17 |
| CN108415032B CN108415032B (zh) | 2021-06-25 |
Family
ID=63130138
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810179817.8A Active CN108415032B (zh) | 2018-03-05 | 2018-03-05 | 一种基于深度学习与激光雷达的点云语义地图构建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108415032B (zh) |
Cited By (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109255540A (zh) * | 2018-09-19 | 2019-01-22 | 深圳市深视智能科技有限公司 | 神经网络训练方法、激光扫描图像处理方法及装置 |
| CN109472315A (zh) * | 2018-11-15 | 2019-03-15 | 江苏木盟智能科技有限公司 | 一种基于深度可分离卷积的目标检测方法和系统 |
| CN109471128A (zh) * | 2018-08-30 | 2019-03-15 | 福瑞泰克智能系统有限公司 | 一种正样本制作方法及装置 |
| CN109858374A (zh) * | 2018-12-31 | 2019-06-07 | 武汉中海庭数据技术有限公司 | 高精度地图制作中箭头类标线自动提取方法和装置 |
| CN109934228A (zh) * | 2019-03-18 | 2019-06-25 | 上海盎维信息技术有限公司 | 基于人工智能的3d点云处理方法及装置 |
| CN109993780A (zh) * | 2019-03-07 | 2019-07-09 | 深兰科技（上海）有限公司 | 一种三维高精度地图生成方法及装置 |
| CN110175344A (zh) * | 2019-03-21 | 2019-08-27 | 中山大学 | 一种针对自动驾驶场景的激光雷达线束分布调整优化方法 |
| CN110210398A (zh) * | 2019-06-03 | 2019-09-06 | 宁波智能装备研究院有限公司 | 一种三维点云语义分割标注方法 |
| CN110244734A (zh) * | 2019-06-20 | 2019-09-17 | 中山大学 | 一种基于深度卷积神经网络的自动驾驶车辆路径规划方法 |
| CN110243370A (zh) * | 2019-05-16 | 2019-09-17 | 西安理工大学 | 一种基于深度学习的室内环境三维语义地图构建方法 |
| CN110458780A (zh) * | 2019-08-14 | 2019-11-15 | 上海眼控科技股份有限公司 | 3d点云数据去噪方法、装置、计算机设备和可读存储介质 |
| CN111160360A (zh) * | 2018-11-07 | 2020-05-15 | 北京四维图新科技股份有限公司 | 图像识别方法、装置及系统 |
| WO2020097840A1 (en) * | 2018-11-15 | 2020-05-22 | Beijing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for correcting a high-definition map based on detection of obstructing objects |
| WO2020098674A1 (en) * | 2018-11-14 | 2020-05-22 | Huawei Technologies Co., Ltd. | Method and system for deep neural networks using dynamically selected feature-relevant points from point cloud |
| WO2020103110A1 (zh) * | 2018-11-22 | 2020-05-28 | 深圳市大疆创新科技有限公司 | 一种基于点云地图的图像边界获取方法、设备及飞行器 |
| CN111462137A (zh) * | 2020-04-02 | 2020-07-28 | 中科人工智能创新技术研究院(青岛)有限公司 | 一种基于知识蒸馏和语义融合的点云场景分割方法 |
| WO2020154970A1 (en) * | 2019-01-30 | 2020-08-06 | Baidu.Com Times Technology (Beijing) Co., Ltd. | Deep learning–based feature extraction for lidar localization of autonomous driving vehicles |
| CN111612886A (zh) * | 2020-04-21 | 2020-09-01 | 厦门大学 | 室内三维模型生成方法及系统 |
| CN111771135A (zh) * | 2019-01-30 | 2020-10-13 | 百度时代网络技术（北京）有限公司 | 自动驾驶车辆中使用rnn和lstm进行时间平滑的lidar定位 |
| CN111798397A (zh) * | 2020-07-08 | 2020-10-20 | 上海振华重工电气有限公司 | 一种激光雷达数据的消抖与雨雾处理方法 |
| CN111816020A (zh) * | 2019-04-10 | 2020-10-23 | 埃尔构人工智能有限责任公司 | 将合成激光雷达数据迁移至真实域用于自动驾驶汽车训练 |
| CN111860234A (zh) * | 2020-07-06 | 2020-10-30 | 武汉华链科技有限公司 | 一种基于激光雷达数据的图像语义重建方法 |
| CN111862337A (zh) * | 2019-12-18 | 2020-10-30 | 北京嘀嘀无限科技发展有限公司 | 视觉定位方法、装置、电子设备和计算机可读存储介质 |
| CN112037325A (zh) * | 2020-08-07 | 2020-12-04 | 珠海格力电器股份有限公司 | 构建语义地图的方法、装置、计算机设备和存储介质 |
| CN112184589A (zh) * | 2020-09-30 | 2021-01-05 | 清华大学 | 一种基于语义分割的点云强度补全方法及系统 |
| CN112560774A (zh) * | 2020-12-25 | 2021-03-26 | 广州文远知行科技有限公司 | 一种障碍物位置检测方法、装置、设备和存储介质 |
| CN112923938A (zh) * | 2021-02-18 | 2021-06-08 | 中国第一汽车股份有限公司 | 一种地图优化方法、装置、存储介质及系统 |
| WO2021121306A1 (zh) * | 2019-12-18 | 2021-06-24 | 北京嘀嘀无限科技发展有限公司 | 视觉定位方法和系统 |
| CN113269827A (zh) * | 2020-02-14 | 2021-08-17 | 北京京东乾石科技有限公司 | 一种实现自动化标定的方法和计算装置 |
| CN113359810A (zh) * | 2021-07-29 | 2021-09-07 | 东北大学 | 一种基于多传感器的无人机着陆区域识别方法 |
| CN113781639A (zh) * | 2021-09-22 | 2021-12-10 | 交通运输部公路科学研究所 | 一种大场景道路基础设施数字化模型快速构建方法 |
| CN114742893A (zh) * | 2022-06-09 | 2022-07-12 | 浙江大学湖州研究院 | 一种基于深度学习的3d激光数据训练与快速定位方法 |
| CN116168393A (zh) * | 2023-01-17 | 2023-05-26 | 浙江大学 | 基于点云神经辐射场的语义标注数据自动生成方法、装置 |
| WO2023173243A1 (zh) * | 2022-03-14 | 2023-09-21 | 罗伯特·博世有限公司 | 二维激光雷达扫描图的语义标注生成 |
| WO2024130776A1 (zh) * | 2022-12-22 | 2024-06-27 | 之江实验室 | 一种基于深度学习的三维激光雷达点云语义分割的方法和装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100017060A1 (en) * | 2008-07-18 | 2010-01-21 | Gm Global Technology Operations, Inc. | Road-edge detection |
| US9443192B1 (en) * | 2015-08-30 | 2016-09-13 | Jasmin Cosic | Universal artificial intelligence engine for autonomous computing devices and software applications |
| CN106097444A (zh) * | 2016-05-30 | 2016-11-09 | 百度在线网络技术（北京）有限公司 | 高精地图生成方法和装置 |
| CN106707293A (zh) * | 2016-12-01 | 2017-05-24 | 百度在线网络技术（北京）有限公司 | 用于车辆的障碍物识别方法和装置 |
| CN107025642A (zh) * | 2016-01-27 | 2017-08-08 | 百度在线网络技术（北京）有限公司 | 基于点云数据的车辆轮廓检测方法和装置 |
| US20180012125A1 (en) * | 2016-07-09 | 2018-01-11 | Doxel, Inc. | Monitoring construction of a structure |
-
2018
- 2018-03-05 CN CN201810179817.8A patent/CN108415032B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100017060A1 (en) * | 2008-07-18 | 2010-01-21 | Gm Global Technology Operations, Inc. | Road-edge detection |
| US9443192B1 (en) * | 2015-08-30 | 2016-09-13 | Jasmin Cosic | Universal artificial intelligence engine for autonomous computing devices and software applications |
| CN107025642A (zh) * | 2016-01-27 | 2017-08-08 | 百度在线网络技术（北京）有限公司 | 基于点云数据的车辆轮廓检测方法和装置 |
| CN106097444A (zh) * | 2016-05-30 | 2016-11-09 | 百度在线网络技术（北京）有限公司 | 高精地图生成方法和装置 |
| US20180012125A1 (en) * | 2016-07-09 | 2018-01-11 | Doxel, Inc. | Monitoring construction of a structure |
| CN106707293A (zh) * | 2016-12-01 | 2017-05-24 | 百度在线网络技术（北京）有限公司 | 用于车辆的障碍物识别方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| JOHN MCCORMAC ET AL.: "SemanticFusion: Dense 3D Semantic Mapping with Convolutional Neural Networks", 《2017 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA)》 * |
| 赵洋等: "基于深度学习的视觉SLAM综述", 《机器人》 * |
Cited By (55)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109471128B (zh) * | 2018-08-30 | 2022-11-22 | 福瑞泰克智能系统有限公司 | 一种正样本制作方法及装置 |
| CN109471128A (zh) * | 2018-08-30 | 2019-03-15 | 福瑞泰克智能系统有限公司 | 一种正样本制作方法及装置 |
| CN109255540B (zh) * | 2018-09-19 | 2021-06-25 | 深圳市深视智能科技有限公司 | 神经网络训练方法、激光扫描图像处理方法及装置 |
| CN109255540A (zh) * | 2018-09-19 | 2019-01-22 | 深圳市深视智能科技有限公司 | 神经网络训练方法、激光扫描图像处理方法及装置 |
| CN111160360B (zh) * | 2018-11-07 | 2023-08-01 | 北京四维图新科技股份有限公司 | 图像识别方法、装置及系统 |
| CN111160360A (zh) * | 2018-11-07 | 2020-05-15 | 北京四维图新科技股份有限公司 | 图像识别方法、装置及系统 |
| CN112912928A (zh) * | 2018-11-14 | 2021-06-04 | 华为技术有限公司 | 用于从点云中动态选择特征相关点的深度神经网络的方法和系统 |
| CN112912928B (zh) * | 2018-11-14 | 2024-01-16 | 华为技术有限公司 | 用于从点云中动态选择特征相关点的深度神经网络的方法和系统 |
| WO2020098674A1 (en) * | 2018-11-14 | 2020-05-22 | Huawei Technologies Co., Ltd. | Method and system for deep neural networks using dynamically selected feature-relevant points from point cloud |
| US11676005B2 (en) | 2018-11-14 | 2023-06-13 | Huawei Technologies Co., Ltd. | Method and system for deep neural networks using dynamically selected feature-relevant points from a point cloud |
| CN109472315B (zh) * | 2018-11-15 | 2021-09-24 | 江苏木盟智能科技有限公司 | 一种基于深度可分离卷积的目标检测方法和系统 |
| WO2020097840A1 (en) * | 2018-11-15 | 2020-05-22 | Beijing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for correcting a high-definition map based on detection of obstructing objects |
| CN109472315A (zh) * | 2018-11-15 | 2019-03-15 | 江苏木盟智能科技有限公司 | 一种基于深度可分离卷积的目标检测方法和系统 |
| US11035958B2 (en) | 2018-11-15 | 2021-06-15 | Bejing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for correcting a high-definition map based on detection of obstructing objects |
| WO2020103110A1 (zh) * | 2018-11-22 | 2020-05-28 | 深圳市大疆创新科技有限公司 | 一种基于点云地图的图像边界获取方法、设备及飞行器 |
| CN109858374A (zh) * | 2018-12-31 | 2019-06-07 | 武汉中海庭数据技术有限公司 | 高精度地图制作中箭头类标线自动提取方法和装置 |
| CN111771135B (zh) * | 2019-01-30 | 2023-03-21 | 百度时代网络技术（北京）有限公司 | 自动驾驶车辆中使用rnn和lstm进行时间平滑的lidar定位 |
| WO2020154970A1 (en) * | 2019-01-30 | 2020-08-06 | Baidu.Com Times Technology (Beijing) Co., Ltd. | Deep learning–based feature extraction for lidar localization of autonomous driving vehicles |
| CN111771135A (zh) * | 2019-01-30 | 2020-10-13 | 百度时代网络技术（北京）有限公司 | 自动驾驶车辆中使用rnn和lstm进行时间平滑的lidar定位 |
| CN109993780A (zh) * | 2019-03-07 | 2019-07-09 | 深兰科技（上海）有限公司 | 一种三维高精度地图生成方法及装置 |
| CN109934228B (zh) * | 2019-03-18 | 2023-02-10 | 上海盎维信息技术有限公司 | 基于人工智能的3d点云处理方法及装置 |
| CN109934228A (zh) * | 2019-03-18 | 2019-06-25 | 上海盎维信息技术有限公司 | 基于人工智能的3d点云处理方法及装置 |
| CN110175344A (zh) * | 2019-03-21 | 2019-08-27 | 中山大学 | 一种针对自动驾驶场景的激光雷达线束分布调整优化方法 |
| CN111816020A (zh) * | 2019-04-10 | 2020-10-23 | 埃尔构人工智能有限责任公司 | 将合成激光雷达数据迁移至真实域用于自动驾驶汽车训练 |
| US11734935B2 (en) | 2019-04-10 | 2023-08-22 | Argo AI, LLC | Transferring synthetic lidar system data to real world domain for autonomous vehicle training applications |
| CN110243370A (zh) * | 2019-05-16 | 2019-09-17 | 西安理工大学 | 一种基于深度学习的室内环境三维语义地图构建方法 |
| CN110210398A (zh) * | 2019-06-03 | 2019-09-06 | 宁波智能装备研究院有限公司 | 一种三维点云语义分割标注方法 |
| CN110244734A (zh) * | 2019-06-20 | 2019-09-17 | 中山大学 | 一种基于深度卷积神经网络的自动驾驶车辆路径规划方法 |
| CN110458780A (zh) * | 2019-08-14 | 2019-11-15 | 上海眼控科技股份有限公司 | 3d点云数据去噪方法、装置、计算机设备和可读存储介质 |
| CN111862337B (zh) * | 2019-12-18 | 2024-05-10 | 北京嘀嘀无限科技发展有限公司 | 视觉定位方法、装置、电子设备和计算机可读存储介质 |
| WO2021121306A1 (zh) * | 2019-12-18 | 2021-06-24 | 北京嘀嘀无限科技发展有限公司 | 视觉定位方法和系统 |
| CN111862337A (zh) * | 2019-12-18 | 2020-10-30 | 北京嘀嘀无限科技发展有限公司 | 视觉定位方法、装置、电子设备和计算机可读存储介质 |
| CN113269827B (zh) * | 2020-02-14 | 2024-04-05 | 北京京东乾石科技有限公司 | 一种实现自动化标定的方法和计算装置 |
| CN113269827A (zh) * | 2020-02-14 | 2021-08-17 | 北京京东乾石科技有限公司 | 一种实现自动化标定的方法和计算装置 |
| CN111462137B (zh) * | 2020-04-02 | 2023-08-08 | 中科人工智能创新技术研究院(青岛)有限公司 | 一种基于知识蒸馏和语义融合的点云场景分割方法 |
| CN111462137A (zh) * | 2020-04-02 | 2020-07-28 | 中科人工智能创新技术研究院(青岛)有限公司 | 一种基于知识蒸馏和语义融合的点云场景分割方法 |
| CN111612886B (zh) * | 2020-04-21 | 2022-07-19 | 厦门大学 | 室内三维模型生成方法及系统 |
| CN111612886A (zh) * | 2020-04-21 | 2020-09-01 | 厦门大学 | 室内三维模型生成方法及系统 |
| CN111860234A (zh) * | 2020-07-06 | 2020-10-30 | 武汉华链科技有限公司 | 一种基于激光雷达数据的图像语义重建方法 |
| CN111798397A (zh) * | 2020-07-08 | 2020-10-20 | 上海振华重工电气有限公司 | 一种激光雷达数据的消抖与雨雾处理方法 |
| CN112037325A (zh) * | 2020-08-07 | 2020-12-04 | 珠海格力电器股份有限公司 | 构建语义地图的方法、装置、计算机设备和存储介质 |
| CN112184589A (zh) * | 2020-09-30 | 2021-01-05 | 清华大学 | 一种基于语义分割的点云强度补全方法及系统 |
| CN112184589B (zh) * | 2020-09-30 | 2021-10-08 | 清华大学 | 一种基于语义分割的点云强度补全方法及系统 |
| US11315271B2 (en) | 2020-09-30 | 2022-04-26 | Tsinghua University | Point cloud intensity completion method and system based on semantic segmentation |
| CN112560774A (zh) * | 2020-12-25 | 2021-03-26 | 广州文远知行科技有限公司 | 一种障碍物位置检测方法、装置、设备和存储介质 |
| CN112923938A (zh) * | 2021-02-18 | 2021-06-08 | 中国第一汽车股份有限公司 | 一种地图优化方法、装置、存储介质及系统 |
| CN112923938B (zh) * | 2021-02-18 | 2023-10-03 | 中国第一汽车股份有限公司 | 一种地图优化方法、装置、存储介质及系统 |
| CN113359810A (zh) * | 2021-07-29 | 2021-09-07 | 东北大学 | 一种基于多传感器的无人机着陆区域识别方法 |
| CN113781639A (zh) * | 2021-09-22 | 2021-12-10 | 交通运输部公路科学研究所 | 一种大场景道路基础设施数字化模型快速构建方法 |
| CN113781639B (zh) * | 2021-09-22 | 2023-11-28 | 交通运输部公路科学研究所 | 一种大场景道路基础设施数字化模型快速构建方法 |
| WO2023173243A1 (zh) * | 2022-03-14 | 2023-09-21 | 罗伯特·博世有限公司 | 二维激光雷达扫描图的语义标注生成 |
| CN114742893A (zh) * | 2022-06-09 | 2022-07-12 | 浙江大学湖州研究院 | 一种基于深度学习的3d激光数据训练与快速定位方法 |
| WO2024130776A1 (zh) * | 2022-12-22 | 2024-06-27 | 之江实验室 | 一种基于深度学习的三维激光雷达点云语义分割的方法和装置 |
| CN116168393B (zh) * | 2023-01-17 | 2023-08-25 | 浙江大学 | 基于点云神经辐射场的语义标注数据自动生成方法、装置 |
| CN116168393A (zh) * | 2023-01-17 | 2023-05-26 | 浙江大学 | 基于点云神经辐射场的语义标注数据自动生成方法、装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108415032B (zh) | 2021-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108415032A (zh) | 一种基于深度学习与激光雷达的点云语义地图构建方法 | |
| Lu et al. | A survey on vision-based UAV navigation | |
| CN104637370B (zh) | 一种摄影测量与遥感综合教学的方法及系统 | |
| CN106826833A (zh) | 基于3d立体感知技术的自主导航机器人系统 | |
| CN105865449A (zh) | 基于激光和视觉的移动机器人的混合定位方法 | |
| CN110070615A (zh) | 一种基于多相机协同的全景视觉slam方法 | |
| US20230024326A1 (en) | Using maps comprising covariances in multi-resolution voxels | |
| Rovira-Más et al. | Creation of three-dimensional crop maps based on aerial stereoimages | |
| CN109283937A (zh) | 一种基于无人机的植保喷施作业的方法及系统 | |
| CN109815300A (zh) | 一种车辆定位方法 | |
| CN110244734A (zh) | 一种基于深度卷积神经网络的自动驾驶车辆路径规划方法 | |
| WO2023123837A1 (zh) | 地图的生成方法、装置、电子设备及存储介质 | |
| US11288861B2 (en) | Maps comprising covariances in multi-resolution voxels | |
| CN103810382B (zh) | 机载分布式多传感器两级数据融合策略选择方法 | |
| CN111811502B (zh) | 一种运动载体多源信息融合导航方法及系统 | |
| CN111090283A (zh) | 一种无人艇组合定位定向方法和系统 | |
| Li et al. | Autonomous navigation and environment modeling for MAVs in 3-D enclosed industrial environments | |
| Hartley et al. | Using roads for autonomous air vehicle guidance | |
| Mahmood et al. | Three dimensional agricultural land modeling using unmanned aerial system (UAS) | |
| Wang et al. | UAV‐based simultaneous localization and mapping in outdoor environments: A systematic scoping review | |
| Sergiyenko | Optoelectronic devices in robotic systems | |
| CN112446915A (zh) | 一种基于图像组的建图方法及装置 | |
| CN110160503A (zh) | 一种顾及高程的无人机景观匹配定位方法 | |
| Zhao et al. | Digital twins in smart farming: An autoware-based simulator for autonomous agricultural vehicles | |
| CN110148218A (zh) | 一种大批量机载LiDAR点云数据整体优化的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220419 Address after: 511466 803, floor 8, building 8 (Building 9), No. 6, Nanjiang Second Road, Zhujiang street, Nansha District, Guangzhou City, Guangdong Province Patentee after: Guangzhou Weimou Medical Instrument Co.,Ltd. Address before: 510275 No. 135 West Xingang Road, Guangdong, Guangzhou Patentee before: SUN YAT-SEN University |